java泛型示例

转自: http://www.importnew.com/11317.html

 

 

PHP中字符串截取的效率

缘起

如果你用PHP实现算法的话,效率可能会是比较关心的问题;对于大量的循环,循环体内任何一个操作都可能严重影响算法的效率,而字符串的截取也是最常见的操作;对于截取字符串中的一个字节的操作有两种写法:substr($string, $start, 1);  和 $string{$start}; 当然 $string{$start} 也可以写作 $string[$start]; 这里比较一下二者的效率。

 

测试

结论

使用$string{$start}  是 使用substr($string, $start, 1); 的效率的10倍, 其实,前者写起来还更方便呢。

脚本

 

关于libmemcached中的crc的实现

缘起

libmemcached备受青睐,号称错误信息是很详细的,比所谓的memcache模块强多了;但是,就是因为他的名气大,还是被坑了;所谓的错误信息详细在get操作时完全不存在了,不管是连接失败还是各种超时,得到的错误信息都是NOTFOUND;于是乎,我想自己用PHP写一个memcached的client,起初,我可以之实现我需要的几个方法,鉴于memcache的协议很简单,应该是比较容易完成的。

问题

其实,我1天时间已经完成了memcache的几个简单的协议,出于一些不想说的考虑,当add多个server时,我需要把根据key的hash结果和libmemcached中的完全一样;看了libmemcached中几种hash和distribute的策略,我只想选择一种最简单的hash和distribute策略来实现,我选择了 crc32 + modular; 简而言之,算法就是: crc32(key) % count(server) 就Ok了; 但是,问题是PHP的crc32结果和libmemcached中的crc32结果是不同的,鉴于我的C语言水平有限,不想看和看不懂使得我咨询了一下牛人,没有结果,于是还是硬着头皮看吧。

分析

后面分别贴一下libmemcached和php中crc的实现,这里先说结论了:

二者差别不大,主要差别在于:

PHP中的crc32返回的是一个32位的有符号数,而libmemecached中返回的是前者32位有符号数种的高16位,并且忽略了符号位;

如果用PHP实现一个和libmemcached相同的crc32将是:

或者如下实现:

本来只需要简单的位移操作、异或操作就可以处理的事情,用PHP来实现却需要大量的pack、unpack,对‘test’进行crc32大约需要0.1ms(很慢的),如果用上面实现,大约比该实现快100倍

 

libmemcached:

php中的实现(说明一下: 这里的crc32tab和上面的是一样的):

 

关于crc32_table 的由来,crc32_table是出于提高效率的目的而诞生的,来源于一个神奇的数字 0x04c11db7:

 

参考资料:

http://baike.baidu.com/view/410181.htm?fr=aladdin

http://hi.baidu.com/qyiyunso/item/c06719c5872ed5d5964452ac

http://zh.wikipedia.org/wiki/CRC32

关于PHP的STDIN/STDOUT/STDERR

缘起

如果实现PHP中标准输入、标准输出、标准错误的重定向?

分析

在C中可以通过dup2来实现,但是PHP无法直接操作文件描述符,只能操作资源,所以这个事情很难做。

下面有个想法(不甚好用),首先,可以通过fclose(STDIN); fclose(STDOUT); fclose(STDERR); 来关闭标准输入、标准输出、标准错误; 然后,通过fopen依次打开标准输入、标准输出、标准错误,这时候,标准输入、标准输出、标准错误已经指向你使用fopen打开的位置了;或者说,无论在任何时候(可能已经打开过很多其他文件了),关闭标准输入之后,立即再打开一个文件,则该文件将成为标准输入(标准输出和标准错误亦可用此法);因为,linux上(windows未测试),只要关闭一个资源,立即再打开的资源都将重用刚才关闭的那个文件描述符,但是:

  1. STDIN/STDOU/STDERR 这些常量一旦被关闭,将不可用,因为是常量,也不可能被重新使用,当然,必要的时候,可以通过php://stdin  php://stdout  php://stderr 来达到相同目的
  2. 虽然可以成功打开一个指向自定义位置的文件描述符2,但是,这个依然是不可用的;因为,一旦关闭的STDERR(不管是否又打开了文件描述符2), 以后的错误将直接丢弃,不写入任何地方,测试脚本:

  3. 其实,设置error_log 就ok了

 

其它发现

我们知道,一个常量不能定义为一个数组,如果这么做了,将得到如下错误:

PHP Warning:  Constants may only evaluate to scalar values in 。。。

但是: STDIN STDOUT  STDERR 也是常量,如果使用 is_scalar(STDIN);来测试的话,发现返回false; 而且不仅这三个常量如此,你也可以自己定义一个资源常量, 如: define(‘MY_FP’, $fp);  当然,如果使用is_scalar($fp); 测试的话,也是返回false的。

关于PHP的Memcache和Memcached模块

缘起

话说PHP操作Memcache有两个常用的模块: Memcache和Memcached;不过,请注意,这两个模块是不能混用的,如:使用Memcache写,使用Memcached读。

原因

话说Memcache协议中有一个叫做flag的东西,可以指定内容是否被压缩等等。Memcache模块和Memcached模块对该flag的定义是不一样的,如下:

Memcache

#define MMC_SERIALIZED 1
#define MMC_COMPRESSED 2

Memcached

#define MEMC_VAL_IS_STRING 0
#define MEMC_VAL_IS_LONG 1
#define MEMC_VAL_IS_DOUBLE 2
#define MEMC_VAL_IS_BOOL 3
#define MEMC_VAL_IS_SERIALIZED 4
#define MEMC_VAL_IS_IGBINARY 5
#define MEMC_VAL_IS_JSON 6
#define MEMC_VAL_IS_MSGPACK 7

#define MEMC_VAL_COMPRESSED (1<<0)
#define MEMC_VAL_COMPRESSION_ZLIB (1<<1)
#define MEMC_VAL_COMPRESSION_FASTLZ (1<<2)

 

 

 

比较

1. Memcache只定义了压缩和序列化

2. Memcached 定义了数据类型、压缩、序列化、压缩方式

base62

参考资料:

http://www.lalit.org/lab/base62-php-convert-number-to-base-62-for-short-urls/

 

数据存储的学问

缘起

硬盘、内存中存储了大量的数据,网络上也在传输这大量的数据;如果仔细分析,很多数据是重复的;如果能对这些数据做精心的设计,会节省很多的硬盘、内存和网络带宽。

举个栗子

我在设计一个用户的回话信息的存储时,发现对会话的创建时间、过期时间这个时间信息pack成4字节的二进制会比10字节的时间戳小不少,我很高兴;但是仔细观察发现,其实里面还是有信息重复的:

1. 每个会话的创建时间不可能早于我的建站时间,比如:2010年10月1号,则这部分信息是重复的; 于是我可以将会话创建时间存储为一个相对于 2010年10月1号的相对时间,这个数字其实小了很多

2. 会话的过期时间总是要大于创建时间的,于是,对于会话的过期时间完全可以存储为相对于创建时间的一个数字

3. 内网IP信息如何处理?如果把内网IP简单当作IP来处理,则IP最短需要4个字节(这里以IPv4为例),如果考虑到是“内网”IP,其实3个字节足矣;如果公司很小,其实只有几个IP,做个对照表的话,1个字节就够了