下面的8001端口进程使用的是默认的malloc内存分配器, 8002端口是使用了tcmalloc内存分配器,线上数据运行了1个月的时间,发现tcmalloc使用的内存更多一些。
关于cookie的secure属性
经过测试: (火狐下的测试)
1. http的请求可以成功设置secure cookie
2. http的请求设置的secure cookie,在http的页面中js获取不到,在https的页面中js能访问到
关于浏览器的安全模型
在使用https访问某个页面时,如果页面中包含非https的内容,则浏览器会提示包含不安全信息。那么什么情况算是“包含了不安全信息”呢?
1. 非https的图片,如:
<img src="http://x.x.x.x/y.jpg" />
关于P3P与第三方cookie
Safari:
设置:
火狐:
设置:
测试脚本:
稍后再补
测试结论:
- safari
- 不识别P3P协议
- 默认不接受第三方cookie
- 对于iframe请求的第三方url设置的cookie不视为第三方cookie; 对于script、img标签请求的第三方url设置的cookie按第三方cookie的设置处理; 对于其他请求,还没有测试
- 火狐
- 不识别P3P协议
- 默认接受第三方cookie
- 不管是iframe、script、img请求的第三方url设置的cookie都视为第三方cookie
- IE
- 缺省隐私等级设置为"中"——即"阻止没有合同隐私策略的第三方cookie";换言之,就是支持P3P策略
参考资料:
http://www.cnblogs.com/_franky/archive/2011/03/16/1985954.html
http://hi.baidu.com/leolance/blog/item/152a1f2903f9fe22359bf706.html
小心grep 的buffer
在统计mysql查询次数时,有如下命令:
while :; do sleep 1; mysql -u user -ppass -h phpor.net -P 3306 -e ‘show status like "Questions";’; done |grep Ques | awk ‘{print $2 – old; old = $2; }’
几秒钟后都看不到结果,怀疑是awk的buffer造成的,于是改写为:
while :; do sleep 1; mysql -u user -ppass -h phpor.net -P 3306 -e ‘show status like "Questions";’; done |grep Ques | awk ‘{print $2 – old; old = $2; fflush();}’
依然不行,于是,把该命令推到后台,使用strace跟踪了一下awk,发现awk没有读到内容,很自然地,跟踪grep吧,发现grep read到内容了,但是总是不write,开始怀疑我的 Ques写错了,仔细比对,也没有问题呀,突然,屏幕上打印出了很多信息,于是,我恍然大悟,应该是grep的buffer搞的鬼,于是man了一下grep,果然有这方面的选项,再次修改如下:
while :; do sleep 1; mysql -u user -ppass -h phpor.net -P 3306 -e ‘show status like "Questions";’; done |grep –line-buffered Ques | awk ‘{print $2 – old; old = $2; fflush();}’
终于OK了
一个回车与1个小时
当我执行ls命令时,文件名是多行显示的,格式很规整的。
当我执行 r=ls
;echo $r; 时, ls的结果是输出到了一行的,原来的回车就都看不见了,不知道哪里去了。
关于tcmalloc的学习
这也是一篇关于tokyocabinet(以下简称tc)的文章。
对于tc这个东西,还是比较好用的,但是其默认的内存分配(系统的内存分配)是在令我不能满意。我的一个业务已把tc当做内存存储来使用的,所有的东西都不落地,于是我使用内存就得珍惜一点。 或者说我不是我太吝啬,那个内存分配也太浪费了。本来也就1.2G的数据,在tc中折腾几天之后,使用物理内存却需要4.1G,有点儿太离谱了。所以,今天尝试一下其它的内存分配器。
tcmalloc(Thread-Caching Malloc),不要和上面的tc混淆, 是一个内存分配的一个动态库。参考:
http://code.google.com/p/google-perftools/
在64位机器上,需要先安装libunwind:
http://mirror.csclub.uwaterloo.ca/nongnu/libunwind/
启用tcmalloc的两种方式:
方式一:
不需要重新编译程序, 使用LD_PRELOAD=/PATH/TO/libtcmalloc.so ; 重新启动程序就行(但是你要么把启动程序包装一下,要么每次启动程序前都记着先执行一下这个操作)
方式二:
重新编译程序,编译时,使用选项:
-ltcmalloc
这样,启动的是否就一定是这种内存分配方式了,但是,你也不可能再使用默认的分配方式了
参考资料:
http://www.tektalk.org/2011/10/20/tcmalloc%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90%E6%80%BB%E6%8B%AC/
http://blog.csdn.net/yfkiss/article/details/6902269
http://goog-perftools.sourceforge.net/doc/tcmalloc.html
———————————————–
我的测试程序已经跑了一个小时了,似乎tcmalloc表现的要好一些,不过不是太明显。明天再观察一下
安装方法:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
tar -zxf libunwind-1.0.1.tar.gz tar -zxf google-perftools-1.9.1.tar.gz cd libunwind-1.0.1 ./configure make make install cd .. cd google-perftools-1.9.1 ./configure make make install /sbin/ldconfig /sbin/ldconfig -p|grep tcmall |
关于内存的申请与释放
在C语言中,如果存在malloc,则一定要有free,否则就会产生内存泄露;而且你还不能free两次,否则,程序将直接崩溃。
写PHP程序就比较方便了,你甚至不需要初始化变量,你从来也不用考虑内存回收的问题,但是缺点就是PHP的效率相比C来讲就低多了。
我不知道这种比较是否恰当,我想说的是,有一种内存回收是必须显示地、手动地;有一种内存回收是程序自动探测的。前者效率高很多,但是程序开发的效率就很低了;后者开发效率高,但是程序运行效率低。
后来才发现还有第三种方案: 写程序的时候,你不需要显示地、手动地去释放内存,编译器在编译期间会发现什么地方需要释放内存,自动的将释放内存的代码插进去; 这样的话,开发效率高了,执行效率也高了,编译的时候慢了一些(我们可能不太关心这个)。从文章 http://www.programmer.com.cn/9436/ 来看,object-c的编译器有这个功能; 我想,编译器能做到这种地步,也够煞费苦心的,而且我真的不敢相信编译器不会猜错。
关于PHP Hashtable引起的bug的问题学习
bug描述: http://www.laruence.com/2011/12/29/2412.html
相关资料: http://nikic.github.com/2011/12/28/Supercolliding-a-PHP-array.html
就像上面资料中提到的,构造hash冲突是利用了PHP Hashtable对数值key的简单处理实现的。如果用字符串key来构造hash冲突,似乎就比较麻烦了; 严格地将,这个和PHP中的hash算法没有必然联系,对于字符串key是通过hash函数计算出一个无符号整型数然后和Hashtable的size取模的,而对于数字key是直接使用该数字与Hashtable的size取模的。
有些同学通过限制post数据的大小来从一定程度上环节带来的危害,限制post数据大小为不超过100k,下面来分析一下这个数字是否够用:
脚本1:
- <?php
- $size = pow(2, 15); // 可以通过第二个参数来改变提交的数据量的大小
- $data = ”;
- for ($key=0, $maxkey=($size-1) * $size; $key<= $maxkey; $key+=$size) {
- $data .= $key.‘=&’;
- $i++;
- }
- echo "key num: $i \n";
- echo "data length:". strlen($data);
通过这个脚本来得出key的多少和对应的数据量。
脚本2:
- <?php
- $size = pow(2, 15); // 16 is just an example, could also be 15 or 17
- $startTime = microtime(true);
- $array = array();
- for ($key = 0, $maxKey = ($size – 1) * $size; $key <= $maxKey; $key += $size) {
- $array[$key] = 0;
- }
- $endTime = microtime(true);
- echo ‘Inserting ‘, $size, ‘ evil elements took ‘, $endTime – $startTime, ‘ seconds’, "\n";
- $startTime = microtime(true);
- $array = array();
- for ($key = 0, $maxKey = $size – 1; $key <= $maxKey; ++$key) {
- $array[$key] = 0;
- }
- $endTime = microtime(true);
- echo ‘Inserting ‘, $size, ‘ good elements took ‘, $endTime – $startTime, ‘ seconds’, "\n";
通过这个脚本可以得出key的多少和相应消耗的时间。
80k的数据就可以构造8000 个key,耗费cpu时间大约不到2s;
360k的数据可以构造3.2万个key,耗费cpu时间大约30多s;
看来限制 100k 的数据还是非常有效的。
关于该bug的修复,官方给出了补丁,允许限制post数据的个数; 那么GET数据和Cookie数据会不会有这个问题呢?答案是不会的,我们可以从apache的源码中找到答案:
关于PHP Hashtable的更多参考资料:
http://www.qingliangcn.com/2009/07/php%E6%BA%90%E4%BB%A3%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8Bhashtable/
http://www.phpchina.com/index.php?action-viewthread-tid-88505
———————
关于PHP Hashtable的几点提示:
1. Hashtable的最小大小为8 ,如果元素个数为9,则大小重新调整为16,每次调整都要遍历所有元素,重新计算hash值
2. 数值key不做hash,直接和Hashtable 的size取模
3. nNextFreeElement 用于数字索引的计数,其值为当前数字索引值加1,初始值为0
4. pNext, pLast 是hash冲突时的冲突链表的双向指针
5. PListNext, pListLast 是用于遍历数组的双向链表指针
6. pInternalPointer 是用于遍历数组的一个位置指针
PHP post 数组初始化
PHP POST数组的初始化,下面的堆栈是我的PHP程序正在读POST的数据的时候打出来的:
# gstack 13339
#0 0x003aa7a2 in _dl_sysinfo_int80 () from /lib/ld-linux.so.2
#1 0x0048b12d in poll () from /lib/tls/libc.so.6
#2 0x00762558 in apr_wait_for_io_or_timeout ()
#3 0x0075bba4 in apr_socket_recv () from /data1/apache2/lib/libapr-1.so.0
#4 0x00e3d840 in socket_bucket_read ()
#5 0x08072668 in ap_core_input_filter ()
#6 0x00b21ad5 in logio_in_filter () from /data1/apache2/modules/mod_logio.so
#7 0x0807f634 in ap_http_filter ()
#8 0x013496e8 in php_apache_sapi_read_post ()
#9 0x0129399a in sapi_deactivate () from /data1/apache2/modules/libphp5.so
#10 0x0128cae6 in php_request_shutdown ()
#11 0x0134a1ca in php_handler () from /data1/apache2/modules/libphp5.so
#12 0x08073dea in ap_run_handler ()
#13 0x080741bf in ap_invoke_handler ()
#14 0x0807ee55 in ap_process_request ()
#15 0x0807c8c9 in ap_process_http_connection ()
#16 0x08079762 in ap_run_process_connection ()
#17 0x08082a6e in child_main ()
#18 0x08082c46 in make_child ()
#19 0x080837cd in ap_mpm_run ()
#20 0x08063de4 in main ()
———————–
# telnet 10.55.38.14 80
Trying 10.55.38.14…
Connected to 10.55.38.14 (10.55.38.14).
Escape character is ‘^]’.
POST /sso/login.php HTTP/1.1
host: login.sina.com.cn
content-length: 1000000000
aaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaa