使用dnsmasq架设一个自己的dns server

下载地址： http://www.thekelleys.org.uk/dnsmasq/dnsmasq-2.57.tar.gz
帮助文档： https://help.ubuntu.com/community/Dnsmasq

 

配置文件：/etc/dnsmasq.conf

 

关于Memcached的认证支持

Memcached 1.4.5里面通过sasl提供了认证支持，编译的时候可以启用该功能，编译参数：
[memcached-1.4.5]# ./configure –help| grep -i sasl
  –enable-sasl           Enable SASL authentication
  –enable-sasl-pwdb      Enable plaintext password db

SASL全称Simple Authentication and Security Layer，是一种用来扩充C/S模式验证能力的机制;

关于sasl：
参考文档：http://tools.ietf.org/html/rfc4422
c库实现： http://asg.web.cmu.edu/sasl/sasl-library.html
GNU libgsasl实现： http://www.gnu.org/software/gsasl/
其它资料：
http://asg.web.cmu.edu/sasl/

Memcached-1.4.5的一些新特性

memcached 1.2.8

-p <num>      TCP port number to listen on (default: 11211)

-U <num>      UDP port number to listen on (default: 11211, 0 is off)

-s <file>     unix socket path to listen on (disables network support)

-a <mask>     access mask for unix socket, in octal (default 0700)

-l <ip_addr>  interface to listen on, default is INDRR_ANY

-d            run as a daemon

-r            maximize core file limit

-u <username> assume identity of <username> (only when run as root)

-m <num>      max memory to use for items in megabytes, default is 64 MB

-M            return error on memory exhausted (rather than removing items)

-c <num>      max simultaneous connections, default is 1024

-k            lock down all paged memory.  Note that there is a

              limit on how much memory you may lock.  Trying to

              allocate more than that would fail, so be sure you

              set the limit correctly for the user you started

              the daemon with (not for -u <username> user;

              under sh this is done with ‘ulimit -S -l NUM_KB’).

-v            verbose (print errors/warnings while in event loop)

-vv           very verbose (also print client commands/reponses)

-h            print this help and exit

-i            print memcached and libevent license

-P <file>     save PID in <file>, only used with -d option

-f <factor>   chunk size growth factor, default 1.25

-n <bytes>    minimum space allocated for key+value+flags, default 48

-R            Maximum number of requests per event

              limits the number of requests process for a given con nection

              to prevent starvation.  default 20

-b            Set the backlog queue limit (default 1024)

——————————————————————-

 

memcached 1.4.5

-p <num>      TCP port number to listen on (default: 11211)

-U <num>      UDP port number to listen on (default: 11211, 0 is off)

-s <file>     UNIX socket path to listen on (disables network support)

-a <mask>     access mask for UNIX socket, in octal (default: 0700)

-l <ip_addr>  interface to listen on (default: INADDR_ANY, all addresses)

-d            run as a daemon

-r            maximize core file limit

-u <username> assume identity of <username> (only when run as root)

-m <num>      max memory to use for items in megabytes (default: 64 MB)

-M            return error on memory exhausted (rather than removing items)

-c <num>      max simultaneous connections (default: 1024)

-k            lock down all paged memory.  Note that there is a

              limit on how much memory you may lock.  Trying to

              allocate more than that would fail, so be sure you

              set the limit correctly for the user you started

              the daemon with (not for -u <username> user;

              under sh this is done with ‘ulimit -S -l NUM_KB’).

-v            verbose (print errors/warnings while in event loop)

-vv           very verbose (also print client commands/reponses)

-vvv          extremely verbose (also print internal state transitions)

-h            print this help and exit

-i            print memcached and libevent license

-P <file>     save PID in <file>, only used with -d option

-f <factor>   chunk size growth factor (default: 1.25)

-n <bytes>    minimum space allocated for key+value+flags (default: 48)

-L            Try to use large memory pages (if available). Increasing

              the memory page size could reduce the number of TLB misses

              and improve the performance. In order to get large pages

              from the OS, memcached will allocate the total item-cache

              in one large chunk.

-D <char>     Use <char> as the delimiter between key prefixes and IDs.

              This is used for per-prefix stats reporting. The default is

              ":" (colon). If this option is specified, stats collection

              is turned on automatically; if not, then it may be turned on

              by sending the "stats detail on" command to the server.

-t <num>      number of threads to use (default: 4)

-R            Maximum number of requests per event, limits the number of

              requests process for a given connection to prevent 

              starvation (default: 20)

-C            Disable use of CAS

-b            Set the backlog queue limit (default: 1024)

-B            Binding protocol – one of ascii, binary, or auto (default)

-I            Override the size of each slab page. Adjusts max item size

              (default: 1mb, min: 1k, max: 128m)

对于新的版本，增加了多线程处理机制，这样设定可能会提高memcache官方提供95%的命中率的问题。

对于memcache的使用，尽量使用内网，减少服务器连接的时间。

对于高并发的处理，memcache如果效果不太理想，可以尝试使用magent，memcache负载均衡。

关于Memcache长连接自动重连的问题

使用PHP的memcache模块写了一个访问tokyotrant的long-live程序，因为是long-live的，所以我就connect一次之后一直使用了，理论上我connect之后就可以一直使用，中间不会出现重新连接的问题，为了确认我的推断，启动进程之后，我用strace跟踪了一些进程，令我意外的是，隔一段时间连接就会关闭，然后重新连接，怎么回事呢？

我怀疑两个方面：
1. 我的程序有问题
2. server端有问题，用一段时间会关掉我的连接

首先，我用了大约1个小时的时间，简直把我的程序拆的支离破碎了，结果没有发现哪里有问题。
其次，我使用tcpdump观察了一下，发现主动关闭连接的不是server端，而是我的程序。
百思不得其解。这件事简直成了我的一块心病。

隔了一段时间，当我再次使用tcpdump观察的时候，结果如下：
1.   21:27:20.273522 IP 10.55.38.62.60953 > 10.55.38.70.2004: . ack 132 win 501 <nop,nop,timestamp 3026990738 3683027032>
2.  21:27:20.273757 IP 10.55.38.62.60953 > 10.55.38.70.2004: P 20:142(122) ack 132 win 501 <nop,nop,timestamp 3026990738 3683027032>
3.  21:27:20.273871 IP 10.55.38.70.2004 > 10.55.38.62.60953: . ack 142 win 255 <nop,nop,timestamp 3683027032 3026990738>
4. 21:27:21.273955 IP 10.55.38.62.60953 > 10.55.38.70.2004: F 142:142(0) ack 132 win 501 <nop,nop,timestamp 3026991738 3683027032>
5. 21:27:21.274038 IP 10.55.38.62.37298 > 10.55.38.70.2004: S 3948732568:3948732568(0) win 5792 <mss 1460,sackOK,timestamp 3026991738 3683027542,nop,wscale 7>
6. 21:27:21.274165 IP 10.55.38.70.2004 > 10.55.38.62.37298: S 34634952:34634952(0) ack 3948732569 win 5792 <mss 1460,sackOK,timestamp 3683028032 3026991738,nop,wscale 7>
21:27:21.274185 IP 10.55.38.62.37298 > 10.55.38.70.2004: . ack 1 win 46 <nop,nop,timestamp 3026991738 3683028032>
21:27:21.274196 IP 10.55.38.62.37298 > 10.55.38.70.2004: P 1:123(122) ack 1 win 46 <nop,nop,timestamp 3026991738 3683028032>
21:27:21.274320 IP 10.55.38.70.2004 > 10.55.38.62.37298: . ack 123 win 46 <nop,nop,timestamp 3683028032 3026991738>
21:27:21.313329 IP 10.55.38.70.2004 > 10.55.38.62.60953: . ack 143 win 255 <nop,nop,timestamp 3683028072 3026991738>
21:27:21.533806 IP 10.55.38.70.2004 > 10.55.38.62.37298: P 1:9(8) ack 123 win 46 <nop,nop,timestamp 3683028292 3026991738>
21:27:21.533822 IP 10.55.38.62.37298 > 10.55.38.70.2004: . ack 9 win 46 <nop,nop,timestamp 3026991998 3683028292>
21:27:22.604843 IP 10.55.38.70.2004 > 10.55.38.62.60953: P 132:140(8) ack 143 win 255 <nop,nop,timestamp 3683029363 3026991738>
21:27:22.604859 IP 10.55.38.62.60953 > 10.55.38.70.2004: R 3898017016:3898017016(0) win 0
21:27:24.072995 IP 10.55.38.62.37298 > 10.55.38.70.2004: P 123:143(20) ack 9 win 46 <nop,nop,timestamp 3026994537 3683028292>

============================================
我意外地发现有一个reset包，感觉很奇怪，顺着 60953 端口网上查，发现：
第2个包： 向server端发送数据
第3个包： server端回复收到数据
第4个包： 按说应该server端返回响应数据，但是这里却是client端发了一个finish包
观察第3个包与第4个包之间的时间间隔，基本是1s， 这令我想起了memcache的默认超时时间也是1s，是巧合？显然不是。因为：
第5个包： client端重新发起了连接操作
显然是超时了， 于是重连有了答案。

当然，虽然client关闭了连接，server端却还没有关闭，直到 21:27:22.604859 的时候，服务器端给出了响应数据，但是client已经关闭了，所以出现了被reset的现象。

==========================================
还有一个问题：
我的程序里面是做了容错处理的，但是我的容错策略是，如果出错了，则sleep(2)；之后重新连接； 显然不符合上面的表现，怀着万般不解的心情开始看php的memcache模块的源码；
在memcache.c中：

Memcach.c
  1.     
    int mmc_pool_store(mmc_pool_t *pool, const char *command, int command_len, const char *key, int key_len, int flags, int

        

  2.     
     expire, const char *value, int value_len TSRMLS_DC) /* {{{ */

        

  3.     
    {

        

  4.     
        mmc_t *mmc;

        

  5.     
        char *request;

        

  6.     
        int request_len, result = –1;

        

  7.     
        char *key_copy = NULL, *data = NULL;

        

  8.     
    //…

        

  9.     
        while (result < 0 && (mmc = mmc_pool_find(pool, key, key_len TSRMLS_CC)) != NULL) {

        

  10.     
            if ((result = mmc_server_store(mmc, request, request_len TSRMLS_CC)) < 0) {

        

  11.     
                mmc_server_failure(mmc TSRMLS_CC);

        

  12.     
            }    

        

  13.     
        }

        

  14.     
      // …

        

  15.     
    }

        

  16.     
     

        

  17.     
    // ..

        

  18.     
    int mmc_server_failure(mmc_t *mmc TSRMLS_DC) /*

        

  19.     
        determines if a request should be retried or is a hard network failure {{{ */

        

  20.     
    {

        

  21.     
        switch (mmc->status) {

        

  22.     
            case MMC_STATUS_DISCONNECTED:

        

  23.     
                return 0;

        

  24.     
     

        

  25.     
            /* attempt reconnect of sockets in unknown state */

        

  26.     
            case MMC_STATUS_UNKNOWN:

        

  27.     
                mmc->status = MMC_STATUS_DISCONNECTED;

        

  28.     
                return 0;

        

  29.     
        }

        

  30.     
     

        

  31.     
        mmc_server_deactivate(mmc TSRMLS_CC);

        

  32.     
        return 1;

        

  33.     
    }

        

在这里，我们发现，如果store失败的话，下面会有一个容错处理，通过php -i | grep memcache 可以看到容错配置确实是打开的。
在容错的代码中明显发现做了断开连接的操作，但是在哪里重连的呢？ 

这要看mmc_hash_find_server的实现了，有时间再看。。。

vim 中插入utf-8的bom头

VIM和BOM

最近发现个怪现象, 从Vim中复制的文本(xsel的方式)和实际文本有点点区别, 会在头部加几个不可见的字节(0xEF 0xBB 0xBF), 粘贴到别的程序里有时会引发错误.

查了下, 原来这几个字节是Unicode的BOM(Byte order mark),  用来标记UTF-16和UTF-32编码文件的字节序, UTF-8并不需要. 但因为这个文件我曾经用Windows的记事本保存过,  它自作聪明地加了个BOM,  而Vim识别到文件有BOM就会自动打开bomb这个选项(具体解释请看Vim中bomb和fileencodings的帮助), so…

于是, 这样, 然后保存就好了:

小提示, 查看当前bomb是否打开可以这样:

——————————–

创建一个文件，输入一行中文，执行
:set fileencoding=utf-8
设置文件编码，并执行
:w
保存，然后执行
:e
重新加载，接着插入BOM头
:1s/^/\="\xef\xbb\xbf"
最后保存并退出：
😡
成功了！
xialulee@xialulee-pc3 ~/lab
$ xxd bom1.txt
0000000: efbb bfe6 b58b e8af 95e4 b880 e4b8 8b42

……………B
0000010: 4f4d 0d0a OM..
前三个字节正是ef bb bf。
他：现在好了，可以用你以前交给我的方法将大量的cue文件批量转换了。
我：什么方法？
他：就是那个-c参数啊！以非交互的方式运行Vim，如：
xialulee@xialulee-pc3 ~/lab
$ vim -c ‘set encoding=shift_jis | set fileencoding=utf-8 | w | e | 1s/^/\="\xef\xbb\xbf"/ | x’ CDImage.ape.cue
可以以非交互的方式使用，配合bash或者cmd的for循环，就可以搞定一堆cue文件了。
我：那是。要说现在cmd的for循环也蛮强大的。而且还有PowerShell可以用。在没有msys或者GnuWin32的情况下，将cmd或PowerShell与非交互的Vim结合起来进行批量处理，应该可行的。

后台使用top命令需注意使用-b选项

通过其他程序或脚本在非交互式模式下调用top命令，经常会出现:
   top: failed tty get 错误

解决办法：加个-b 选项皆可

-b : Batch mode operation
   Starts top in <A1><AF>Batch mode<A1><AF>, which could be useful for sending output from top to other programs or to a file. In this mode, top will not accept input and runs until the iterations limit you<A1><AF>ve set with the <A1><AF>-n<A1><AF> command-line option or until killed.

例如执行：
top -bn 1

监控某个进程的状态：
top -bn 1 -p 14370 | grep cmdname>>stats.log

恶心的绊脚石

我在浏览器里面测试通过apache访问的脚本test.php 能不能读取 a.php 里面的内容，结果怎么也看不到a.php 的内容，但是也不报错，源代码为：

<?php
// test.php
echo file_get_contents("a.php");
?>

其实， a.php的内容和test.php 内容一样。

页面上没有显示a.php的内容，也没有报错信息，apache错误日志里面也没有任何报错信息。

我很奇怪，我只好去阅读file_get_contents的具体实现了，当我阅读到一半的时候，我突然想到：
不是读取失败，只是没有显示而已，因为a.php的内容是以 ‘<‘ 开头的，被解释成html标签了，所以页面什么也没有显示，查看页面源代码，果然如此

关于js正则表达式的一点注意

js中创建正则表达式对象有两种方法：

  1.  var reg = /pattern/;
  2.  var reg = new RegExp(‘pattern’)

如果 pattern是动态构造出来的，则第一种方式就不行了，如：
var reg = "/" + a_value + "/";
这个reg是字符串，不是正则表达式对象。这时候就需要使用第二种方式了。

使用第二种方式的时候也要注意，不要收第一种方式的影响，也不要受PHP中写法的影响，注意：
第二种方式创建的时候是不能有前后的反斜线的; // 这篇文章就说了这一句有用的话
参考资料：
http://www.cainiao8.com/web/js_note/js_regular_expression.html

将html中的图片和html保存在一个文件里

html是超文本标记语言，里面显示的图片一般是指向另一个url的，但是，在我使用word的时候，我发现word文件里面是可以包含图片的，而且图片是保存在word文件里面的，这个就比html方便多了，当我保存html的时候，一般需要把相应的资源文件（图片、css、js）保存到一个目录里面，这个感觉麻烦。
css、js是可以直接写在html里面的，那么，能不能将图片数据也直接写到html里面的，去google百度了一下，还真有：
http://hi.baidu.com/guodong828/blog/item/7d86960acf23052bb0351d7c.html

需要注意的是：
1. IE到IE8都还不支持（IE9没试）
2. base64的数据膨胀系数为 1/7，即原来的7位的数据被编码成了1个字节

避免变成死链接，这里copy一份：
—————————————————————————

        所谓"data"类型的Url格式，是在RFC2397中提出的，目的对于一些“小”的数据，可以在网页中直接嵌入，而不是从外部文件载入。例如对于img这个Tag，哪怕这个图片非常非常的小，小到只有一个点，也是要从另外一个外部的图片文件例如gif文件中读入的，如果浏览器实现了data类型的Url格式，这个文件就可以直接从页面文件内部读入了。

　　data类型的Url格式早在1998年就提出了，时至今日，Firfox、Opera、Safari和Konqueror这些浏览器都已经支持，但是IE直到7.0版本都还没有支持，IE不支持的东西太多了，也不差这一个。

［小例子］

下面这个html代码可以在支持data类型Url的浏览器中运行，例如Firefox。运行后会看到一条蓝色渐变底色的标题。

      <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

      <html xmlns="http://www.w3.org/1999/xhtml" >

      <head>

      <style type="text/css">

            .title {  background-image:url(data:image/gif;base64,R0lGODlhAQAcALMAAMXh96HR97XZ98Hf98Xg97DX97nb98Lf97vc98Tg973d96rU97ba97%2Fe96XS9
wAAACH5BAAAAAAALAAAAAABABwAAAQVMLhVBDNItXESAURyDI2CGIxQLE4EADs%3D);

            background-repeat:repeat-x;

            height:28px;

            line-height: 28px;

            text-align:center;

      }

      </style>

      </head>

      <body>

            <div class="title">Hello, world!</div>

      </body>

      </html>

　　这个渐变的蓝色底色实际上是用一个1×28的小图片通过横行重复(repeat-x)形成的。这个图片很小，不过104个字节，直接嵌入到html或css文件还是很合适的。

　　data格式的Url最直接的好处是，这些Url原本会引起一个新的网络访问，因为那里是一个网页的地址，现在不会有新的网络访问了，因为现在这里是网页的内容。这样做，会减少服务器的负载，当然同时也增加了当前网页的大小。所以对“小”数据特别有好处。

　　data类型Url的形式既然是Url，当然也可以直接在浏览器的地址栏中输入。

　　data:text/html,<html><body><p><b>Hello, world!</b></p></body></html>在浏览器中输入以上的Url，会得到一个加粗的"Hello, world!"。也就是说，data:后面的数据直接用做网页的内容，而不是网页的地址。

简单的说，data类型的Url大致有下面几种形式。

      data:,<文本数据>data:text/plain,<文本数据>

      data:text/html,<HTML代码>

      data:text/html;base64,<base64编码的HTML代码>

      data:text/css,<CSS代码>

      data:text/css;base64,<base64编码的CSS代码>

      data:text/javascript,<Javascript代码>

      data:text/javascript;base64,<base64编码的Javascript代码>

      data:image/gif;base64,base64编码的gif图片数据

      data:image/png;base64,base64编码的png图片数据

      data:image/jpeg;base64,base64编码的jpeg图片数据

      data:image/x-icon;base64,base64编码的icon图片数据

　　因为Url是一种基于文本的协议，所以gif/png/jpeg这种二进制属于需要用base64进行编码。换句话说，引入base64以后，就可以支持任意形式的数据格式。下面是个png图片的例子，会在浏览器中显示一个Mozilla的图标。

data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABAAAAAQCAYAAAAf8/9hAAAABGdBTUEAAK/INwWK6QAAABl0RVh0U29mdHd

hcmUAQWRvYmUgSW1hZ2VSZWFkeXHJZTwAAAHWSURBVHjaYvz//z8DJQAggJiQOe/fv2fv7Oz8rays/N+VkfG/iYnJfyD/1+rVq7ffu3dP

FpsBAAHEAHIBCJ85c8bN2Nj4vwsDw/8zQLwKiO8CcRoQu0DxqlWrdsHUwzBAAIGJmTNnPgYa9j8UqhFElwPxf2MIDeIrKSn9FwSJoRkAE

EAM0DD4DzMAyPi/G+QKY4hh5WAXGf8PDQ0FGwJ22d27CjADAAIIrLmjo+MXA9R2kAHvGBA2wwx6B8W7od6CeQcggKCmCEL8bgwxYCbUIG

TDVkHDBia+CuotgACCueD3TDQN75D4xmAvCoK9ARMHBzAw0AECiBHkAlC0Mdy7x9ABNA3obAZXIAa6iKEcGlMVQHwWyjYuL2d4v2cPg8v

Zswx7gHyAAAK7AOif7SAbOqCmn4Ha3AHFsIDtgPq/vLz8P4MSkJ2W9h8ggBjevXvHDo4FQUQg/kdypqCg4H8lUIACnQ/SOBMYI8bAsAJF

Pcj1AAEEjwVQqLpAbXmH5BJjqI0gi9DTAAgDBBCcAVLkgmQ7yKCZxpCQxqUZhAECCJ4XgMl493ug21ZD+aDAXH0WLM4A9MZPXJkJIIAwT

AR5pQMalaCABQUULttBGCCAGCnNzgABBgAMJ5THwGvJLAAAAABJRU5ErkJggg==

　可以在Html的Img对象中使用，例如：

<img src="data:image/x-icon;base64,AAABAAEAEBAAAAAAAABoBQAAF…" />

　可以在Css的background-image属性中使用，例如：

div.image {  width:100px;  height:100px;  background-image:url(data:image/x-icon;base64,AAABAAEAEBAAAAAAAABoBQAAF…);}

　可以在Html的Css链接处使用，例如：

<link rel="stylesheet" type="text/css"  href="data:text/css;base64,LyogKioqKiogVGVtcGxhdGUgKioq…" _fcksavedurl=""data:text/css;base64,LyogKioqKiogVGVtcGxhdGUgKioq…"" />

　可以在Html的Javascript链接处使用，例如：

<script type="text/javascript"  href="data:text/javascript;base64,dmFyIHNjT2JqMSA9IG5ldyBzY3Jv…"></script>

　　完整的语法定义在RFC中，完整的语法定义如下：

dataurl:= "data:" [mediatype] [";base64"] "," datamediatype  := [type"/"subtype] *( ";" parameter )data:= *urlcharparameter  := attribute "=" valueurlchar指的就是一般url中允许的字符，有些字符需要转义，例如"="要转义为"%3D"，不过我测试下来，至少在Firefox里面，不转义也是可以的。

　　parameter可以对mediatype进行属性的扩展，常见的是charset，用来定义编码格式，在多语言情况下需要用到。例如下面的例子。

　　data:text/plain;charset=UTF-8;base64,5L2g5aW977yM5Lit5paH77yB这个例子会显示出"你好，中文！"。如果吧charset部分去掉，就会显示乱码，因为我用的是UTF-8编码。

　　Firefox有一个data类型Url的测试页面，列出了各种格式的data类型Url的测试Url，和测试结果说明。

base64编码和内容的隐秘

　　把二进制数据转换成为Base64不是什么难事，比如Total Commander就有这样的功能。还有一些在线资源：

　　http://www.greywyvern.com/code/php/binary2base64

　　http://www.kawa.net/works/js/data-scheme/base64-e.html

　　有些在线转换把base64里面的“=”转换成为%3D，这个在Url中和“=”是一样的，不转换也没什么问题。当然，这种Url还有一种隐秘的好处，就是将一些道貌岸然者不喜欢的东西，堂而皇之的放在页面上。