使用dnsmasq架设一个自己的dns server

下载地址： http://www.thekelleys.org.uk/dnsmasq/dnsmasq-2.57.tar.gz
帮助文档： https://help.ubuntu.com/community/Dnsmasq

 

配置文件：/etc/dnsmasq.conf

 

关于Memcached的认证支持

Memcached 1.4.5里面通过sasl提供了认证支持，编译的时候可以启用该功能，编译参数：
[memcached-1.4.5]# ./configure –help| grep -i sasl
  –enable-sasl           Enable SASL authentication
  –enable-sasl-pwdb      Enable plaintext password db

SASL全称Simple Authentication and Security Layer，是一种用来扩充C/S模式验证能力的机制;

关于sasl：
参考文档：http://tools.ietf.org/html/rfc4422
c库实现： http://asg.web.cmu.edu/sasl/sasl-library.html
GNU libgsasl实现： http://www.gnu.org/software/gsasl/
其它资料：
http://asg.web.cmu.edu/sasl/

Memcached-1.4.5的一些新特性

memcached 1.2.8

-p <num>      TCP port number to listen on (default: 11211)

-U <num>      UDP port number to listen on (default: 11211, 0 is off)

-s <file>     unix socket path to listen on (disables network support)

-a <mask>     access mask for unix socket, in octal (default 0700)

-l <ip_addr>  interface to listen on, default is INDRR_ANY

-d            run as a daemon

-r            maximize core file limit

-u <username> assume identity of <username> (only when run as root)

-m <num>      max memory to use for items in megabytes, default is 64 MB

-M            return error on memory exhausted (rather than removing items)

-c <num>      max simultaneous connections, default is 1024

-k            lock down all paged memory.  Note that there is a

              limit on how much memory you may lock.  Trying to

              allocate more than that would fail, so be sure you

              set the limit correctly for the user you started

              the daemon with (not for -u <username> user;

              under sh this is done with ‘ulimit -S -l NUM_KB’).

-v            verbose (print errors/warnings while in event loop)

-vv           very verbose (also print client commands/reponses)

-h            print this help and exit

-i            print memcached and libevent license

-P <file>     save PID in <file>, only used with -d option

-f <factor>   chunk size growth factor, default 1.25

-n <bytes>    minimum space allocated for key+value+flags, default 48

-R            Maximum number of requests per event

              limits the number of requests process for a given con nection

              to prevent starvation.  default 20

-b            Set the backlog queue limit (default 1024)

——————————————————————-

 

memcached 1.4.5

-p <num>      TCP port number to listen on (default: 11211)

-U <num>      UDP port number to listen on (default: 11211, 0 is off)

-s <file>     UNIX socket path to listen on (disables network support)

-a <mask>     access mask for UNIX socket, in octal (default: 0700)

-l <ip_addr>  interface to listen on (default: INADDR_ANY, all addresses)

-d            run as a daemon

-r            maximize core file limit

-u <username> assume identity of <username> (only when run as root)

-m <num>      max memory to use for items in megabytes (default: 64 MB)

-M            return error on memory exhausted (rather than removing items)

-c <num>      max simultaneous connections (default: 1024)

-k            lock down all paged memory.  Note that there is a

              limit on how much memory you may lock.  Trying to

              allocate more than that would fail, so be sure you

              set the limit correctly for the user you started

              the daemon with (not for -u <username> user;

              under sh this is done with ‘ulimit -S -l NUM_KB’).

-v            verbose (print errors/warnings while in event loop)

-vv           very verbose (also print client commands/reponses)

-vvv          extremely verbose (also print internal state transitions)

-h            print this help and exit

-i            print memcached and libevent license

-P <file>     save PID in <file>, only used with -d option

-f <factor>   chunk size growth factor (default: 1.25)

-n <bytes>    minimum space allocated for key+value+flags (default: 48)

-L            Try to use large memory pages (if available). Increasing

              the memory page size could reduce the number of TLB misses

              and improve the performance. In order to get large pages

              from the OS, memcached will allocate the total item-cache

              in one large chunk.

-D <char>     Use <char> as the delimiter between key prefixes and IDs.

              This is used for per-prefix stats reporting. The default is

              ":" (colon). If this option is specified, stats collection

              is turned on automatically; if not, then it may be turned on

              by sending the "stats detail on" command to the server.

-t <num>      number of threads to use (default: 4)

-R            Maximum number of requests per event, limits the number of

              requests process for a given connection to prevent 

              starvation (default: 20)

-C            Disable use of CAS

-b            Set the backlog queue limit (default: 1024)

-B            Binding protocol – one of ascii, binary, or auto (default)

-I            Override the size of each slab page. Adjusts max item size

              (default: 1mb, min: 1k, max: 128m)

对于新的版本，增加了多线程处理机制，这样设定可能会提高memcache官方提供95%的命中率的问题。

对于memcache的使用，尽量使用内网，减少服务器连接的时间。

对于高并发的处理，memcache如果效果不太理想，可以尝试使用magent，memcache负载均衡。

关于Memcache长连接自动重连的问题

使用PHP的memcache模块写了一个访问tokyotrant的long-live程序，因为是long-live的，所以我就connect一次之后一直使用了，理论上我connect之后就可以一直使用，中间不会出现重新连接的问题，为了确认我的推断，启动进程之后，我用strace跟踪了一些进程，令我意外的是，隔一段时间连接就会关闭，然后重新连接，怎么回事呢？

我怀疑两个方面：
1. 我的程序有问题
2. server端有问题，用一段时间会关掉我的连接

首先，我用了大约1个小时的时间，简直把我的程序拆的支离破碎了，结果没有发现哪里有问题。
其次，我使用tcpdump观察了一下，发现主动关闭连接的不是server端，而是我的程序。
百思不得其解。这件事简直成了我的一块心病。

隔了一段时间，当我再次使用tcpdump观察的时候，结果如下：
1.   21:27:20.273522 IP 10.55.38.62.60953 > 10.55.38.70.2004: . ack 132 win 501 <nop,nop,timestamp 3026990738 3683027032>
2.  21:27:20.273757 IP 10.55.38.62.60953 > 10.55.38.70.2004: P 20:142(122) ack 132 win 501 <nop,nop,timestamp 3026990738 3683027032>
3.  21:27:20.273871 IP 10.55.38.70.2004 > 10.55.38.62.60953: . ack 142 win 255 <nop,nop,timestamp 3683027032 3026990738>
4. 21:27:21.273955 IP 10.55.38.62.60953 > 10.55.38.70.2004: F 142:142(0) ack 132 win 501 <nop,nop,timestamp 3026991738 3683027032>
5. 21:27:21.274038 IP 10.55.38.62.37298 > 10.55.38.70.2004: S 3948732568:3948732568(0) win 5792 <mss 1460,sackOK,timestamp 3026991738 3683027542,nop,wscale 7>
6. 21:27:21.274165 IP 10.55.38.70.2004 > 10.55.38.62.37298: S 34634952:34634952(0) ack 3948732569 win 5792 <mss 1460,sackOK,timestamp 3683028032 3026991738,nop,wscale 7>
21:27:21.274185 IP 10.55.38.62.37298 > 10.55.38.70.2004: . ack 1 win 46 <nop,nop,timestamp 3026991738 3683028032>
21:27:21.274196 IP 10.55.38.62.37298 > 10.55.38.70.2004: P 1:123(122) ack 1 win 46 <nop,nop,timestamp 3026991738 3683028032>
21:27:21.274320 IP 10.55.38.70.2004 > 10.55.38.62.37298: . ack 123 win 46 <nop,nop,timestamp 3683028032 3026991738>
21:27:21.313329 IP 10.55.38.70.2004 > 10.55.38.62.60953: . ack 143 win 255 <nop,nop,timestamp 3683028072 3026991738>
21:27:21.533806 IP 10.55.38.70.2004 > 10.55.38.62.37298: P 1:9(8) ack 123 win 46 <nop,nop,timestamp 3683028292 3026991738>
21:27:21.533822 IP 10.55.38.62.37298 > 10.55.38.70.2004: . ack 9 win 46 <nop,nop,timestamp 3026991998 3683028292>
21:27:22.604843 IP 10.55.38.70.2004 > 10.55.38.62.60953: P 132:140(8) ack 143 win 255 <nop,nop,timestamp 3683029363 3026991738>
21:27:22.604859 IP 10.55.38.62.60953 > 10.55.38.70.2004: R 3898017016:3898017016(0) win 0
21:27:24.072995 IP 10.55.38.62.37298 > 10.55.38.70.2004: P 123:143(20) ack 9 win 46 <nop,nop,timestamp 3026994537 3683028292>

============================================
我意外地发现有一个reset包，感觉很奇怪，顺着 60953 端口网上查，发现：
第2个包： 向server端发送数据
第3个包： server端回复收到数据
第4个包： 按说应该server端返回响应数据，但是这里却是client端发了一个finish包
观察第3个包与第4个包之间的时间间隔，基本是1s， 这令我想起了memcache的默认超时时间也是1s，是巧合？显然不是。因为：
第5个包： client端重新发起了连接操作
显然是超时了， 于是重连有了答案。

当然，虽然client关闭了连接，server端却还没有关闭，直到 21:27:22.604859 的时候，服务器端给出了响应数据，但是client已经关闭了，所以出现了被reset的现象。

==========================================
还有一个问题：
我的程序里面是做了容错处理的，但是我的容错策略是，如果出错了，则sleep(2)；之后重新连接； 显然不符合上面的表现，怀着万般不解的心情开始看php的memcache模块的源码；
在memcache.c中：

Memcach.c
  1.     
    int mmc_pool_store(mmc_pool_t *pool, const char *command, int command_len, const char *key, int key_len, int flags, int

        

  2.     
     expire, const char *value, int value_len TSRMLS_DC) /* {{{ */

        

  3.     
    {

        

  4.     
        mmc_t *mmc;

        

  5.     
        char *request;

        

  6.     
        int request_len, result = –1;

        

  7.     
        char *key_copy = NULL, *data = NULL;

        

  8.     
    //…

        

  9.     
        while (result < 0 && (mmc = mmc_pool_find(pool, key, key_len TSRMLS_CC)) != NULL) {

        

  10.     
            if ((result = mmc_server_store(mmc, request, request_len TSRMLS_CC)) < 0) {

        

  11.     
                mmc_server_failure(mmc TSRMLS_CC);

        

  12.     
            }    

        

  13.     
        }

        

  14.     
      // …

        

  15.     
    }

        

  16.     
     

        

  17.     
    // ..

        

  18.     
    int mmc_server_failure(mmc_t *mmc TSRMLS_DC) /*

        

  19.     
        determines if a request should be retried or is a hard network failure {{{ */

        

  20.     
    {

        

  21.     
        switch (mmc->status) {

        

  22.     
            case MMC_STATUS_DISCONNECTED:

        

  23.     
                return 0;

        

  24.     
     

        

  25.     
            /* attempt reconnect of sockets in unknown state */

        

  26.     
            case MMC_STATUS_UNKNOWN:

        

  27.     
                mmc->status = MMC_STATUS_DISCONNECTED;

        

  28.     
                return 0;

        

  29.     
        }

        

  30.     
     

        

  31.     
        mmc_server_deactivate(mmc TSRMLS_CC);

        

  32.     
        return 1;

        

  33.     
    }

        

在这里，我们发现，如果store失败的话，下面会有一个容错处理，通过php -i | grep memcache 可以看到容错配置确实是打开的。
在容错的代码中明显发现做了断开连接的操作，但是在哪里重连的呢？ 

这要看mmc_hash_find_server的实现了，有时间再看。。。

vim 中插入utf-8的bom头

VIM和BOM

最近发现个怪现象, 从Vim中复制的文本(xsel的方式)和实际文本有点点区别, 会在头部加几个不可见的字节(0xEF 0xBB 0xBF), 粘贴到别的程序里有时会引发错误.

查了下, 原来这几个字节是Unicode的BOM(Byte order mark),  用来标记UTF-16和UTF-32编码文件的字节序, UTF-8并不需要. 但因为这个文件我曾经用Windows的记事本保存过,  它自作聪明地加了个BOM,  而Vim识别到文件有BOM就会自动打开bomb这个选项(具体解释请看Vim中bomb和fileencodings的帮助), so…

于是, 这样, 然后保存就好了:

小提示, 查看当前bomb是否打开可以这样:

——————————–

创建一个文件，输入一行中文，执行
:set fileencoding=utf-8
设置文件编码，并执行
:w
保存，然后执行
:e
重新加载，接着插入BOM头
:1s/^/\="\xef\xbb\xbf"
最后保存并退出：
😡
成功了！
xialulee@xialulee-pc3 ~/lab
$ xxd bom1.txt
0000000: efbb bfe6 b58b e8af 95e4 b880 e4b8 8b42

……………B
0000010: 4f4d 0d0a OM..
前三个字节正是ef bb bf。
他：现在好了，可以用你以前交给我的方法将大量的cue文件批量转换了。
我：什么方法？
他：就是那个-c参数啊！以非交互的方式运行Vim，如：
xialulee@xialulee-pc3 ~/lab
$ vim -c ‘set encoding=shift_jis | set fileencoding=utf-8 | w | e | 1s/^/\="\xef\xbb\xbf"/ | x’ CDImage.ape.cue
可以以非交互的方式使用，配合bash或者cmd的for循环，就可以搞定一堆cue文件了。
我：那是。要说现在cmd的for循环也蛮强大的。而且还有PowerShell可以用。在没有msys或者GnuWin32的情况下，将cmd或PowerShell与非交互的Vim结合起来进行批量处理，应该可行的。

后台使用top命令需注意使用-b选项

通过其他程序或脚本在非交互式模式下调用top命令，经常会出现:
   top: failed tty get 错误

解决办法：加个-b 选项皆可

-b : Batch mode operation
   Starts top in <A1><AF>Batch mode<A1><AF>, which could be useful for sending output from top to other programs or to a file. In this mode, top will not accept input and runs until the iterations limit you<A1><AF>ve set with the <A1><AF>-n<A1><AF> command-line option or until killed.

例如执行：
top -bn 1

监控某个进程的状态：
top -bn 1 -p 14370 | grep cmdname>>stats.log

恶心的绊脚石

我在浏览器里面测试通过apache访问的脚本test.php 能不能读取 a.php 里面的内容，结果怎么也看不到a.php 的内容，但是也不报错，源代码为：

<?php
// test.php
echo file_get_contents("a.php");
?>

其实， a.php的内容和test.php 内容一样。

页面上没有显示a.php的内容，也没有报错信息，apache错误日志里面也没有任何报错信息。

我很奇怪，我只好去阅读file_get_contents的具体实现了，当我阅读到一半的时候，我突然想到：
不是读取失败，只是没有显示而已，因为a.php的内容是以 ‘<‘ 开头的，被解释成html标签了，所以页面什么也没有显示，查看页面源代码，果然如此

关于js正则表达式的一点注意

js中创建正则表达式对象有两种方法：

  1.  var reg = /pattern/;
  2.  var reg = new RegExp(‘pattern’)

如果 pattern是动态构造出来的，则第一种方式就不行了，如：
var reg = "/" + a_value + "/";
这个reg是字符串，不是正则表达式对象。这时候就需要使用第二种方式了。

使用第二种方式的时候也要注意，不要收第一种方式的影响，也不要受PHP中写法的影响，注意：
第二种方式创建的时候是不能有前后的反斜线的; // 这篇文章就说了这一句有用的话
参考资料：
http://www.cainiao8.com/web/js_note/js_regular_expression.html