顺序读写与随机读写

对于同一个文件，虽然每次读写的数据量很小，但是如果每次读写的位置很随机，那么读写的效率也是很低的，大家都知道。

但是有一种情况，可能不太被注意，虽然是顺序读写，依然很慢；现在有一个进程顺序写一个文件，可能每秒能写100多MB，但是，如果有100个类似的进程顺序写100个不同的文件，虽然表面上都是在顺序写，但是对于磁盘来讲，需要不断地切换磁头到不同的文件，其实也已经表现为随机写了。

 

bash 基础

一些小的知识点：
  1.  ‘(‘,’)’ 是元字符， ‘{‘,’}’ 是保留字，所以圆括号两边可以没有空格，而花括号两边必须有空格
  2. ((expression))  是一个算数表达式；  [[ expression ]] 是一个条件表达式
  3. &>word   和  >&word 都等价于 >word 2>&1 ； 推 荐 使 用 第 一 种
  4. 将 字 符 放 在 单 引 号 之 中 ， 将 保 留 引 用 中 所 有 字 符 的 字 面 意 义 。 单 引 号 不 能 包 含 在 单 引 号 引 用 之 中 ， 即 使 前 面 加 上 了 反 斜 杠
  5. 将 字 符 放 在 双 引 号 中 ， 同 样 保 留 所 有 字 符 的 字 面 意 义 ， 例 外 的 情 况 是 $, ‘, 和\。 字 符 $ 和 ‘ 在 双 引 号 中 仍 然 具 有 特 殊 意 义 。 反 斜 杠 只 有 后 面 是 下 列 字 符 时 才 有 特 殊 意 义 ： $, ‘, “, \, 或 <newline>. 双 引 号 可 以 包 含 在 双 引 号 引 用 中 ， 但 要 在 前 面 加 上 一 个 反 斜 杠
  6. 双 引 号 引 用 字 符 串 前 面 加 上 一 个 $ 符 号 将 使 得 这 个 字 符 串 被 根 据 当 前 语 言 环 境 (locale) 来 翻 译
  7. getopts 是一个内建命令

 

练习：

for (( expr1 ; expr2 ; expr3 )) ; do list ; done

for name [ in word ] ; do list ; done

select name [ in word ] ; do list ; done

case word in [ [(] pattern [ | pattern ] … ) list ;; ] … esac

 

圆括号的用法

  1. 子shell：

    命令在子shell中执行，不影响当前shell环境，当前shell的当前环境不发生变化
  2. 子shell求值

    ls 的结果赋值给files变量
  3. 算术表达式

    注意： 不能写作： (($i++))，因为如果i=1，替换之后为((1++)) ，显然没法运算，但是：
  4. 数组

    arr是个数组，包含当前目录下面的所有文件名

    str 是个字符串

    arr是一个包含字符串ls的数组
  5. 字符串替换

    注意： 该特性在 GNU bash，版本 4.4.19(1)-release (x86_64-pc-linux-gnu) 上测试通过，在 GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu) 上测试不通过

fork() vs vfork()

摘自： http://tldp.org/HOWTO/Secure-Programs-HOWTO/avoid-vfork.html

The portable way to create new processes in Unix-like systems is to use the fork(2) call. BSD introduced a variant called vfork(2) as an optimization technique. In vfork(2), unlike fork(2), the child borrows the parent’s memory and thread of control until a call to execve(2V) or an exit occurs; the parent process is suspended while the child is using its resources. The rationale is that in old BSD systems, fork(2) would actually cause memory to be copied while vfork(2) would not. Linux never had this problem; because Linux used copy-on-write semantics internally, Linux only copies pages when they changed (actually, there are still some tables that have to be copied; in most circumstances their overhead is not significant). Nevertheless, since some programs depend on vfork(2), recently Linux implemented the BSD vfork(2) semantics (previously vfork(2) had been an alias for fork(2)).

翻译：

在类Unix系统中， 可移植的创建一个新进程的方式是调用fork(2)。BSD中作为一种优化技术引入了一个叫做vfork(2) 的变体。vfork(2) 和fork(2) 不同，它在退出或者调用execve(2V)之前是作为父进程的一个线程存在的，和父进程共用内存空间；而在子进程使用这些资源时，父进程是被挂起的。之所以会有vfork(2)，是因为在老的BSD系统中，fork(2)将导致一次真实的内存拷贝，而vfork(2)则不会。Linux中从来没有过这个问题；因为，Linux内部使用的是写时复制（copy-on-write）的机制，Linux仅仅在页被修改时才复制（事实上，仍然会有一些表被复制；在大多数情况下，这没有太大影响）。然而，因为一些程序依赖了vfork(2)，最近Linux也实现了BSD的vfork(2)机制（以前的vfork(2)是fork(2)的别名）。

There are a number of problems with vfork(2). From a portability point-of-view, the problem with vfork(2) is that it’s actually fairly tricky for a process to not interfere with its parent, especially in high-level languages. The not interfering” requirement applies to the actual machine code generated, and many compilers generate hidden temporaries and other code structures that cause unintended interference. The result: programs using vfork(2) can easily fail when the code changes or even when compiler versions change.

For secure programs it gets worse on Linux systems, because Linux (at least 2.2 versions through 2.2.17) is vulnerable to a race condition in vfork()’s implementation. If a privileged process uses a vfork(2)/execve(2) pair in Linux to execute user commands, there’s a race condition while the child process is already running as the user’s UID, but hasnt entered execve(2) yet. The user may be able to send signals, including SIGSTOP, to this process. Due to the semantics of vfork(2), the privileged parent process would then be blocked as well. As a result, an unprivileged process could cause the privileged process to halt, resulting in a denial-of-service of the privileged process' service. FreeBSD and OpenBSD, at least, have code to specifically deal with this case, so to my knowledge they are not vulnerable to this problem. My thanks to Solar Designer, who noted and documented this problem in Linux on the `security-audit” mailing list on October 7, 2000.

The bottom line with vfork(2) is simple: don’t use vfork(2) in your programs. This shouldn’t be difficult; the primary use of vfork(2) is to support old programs that needed vfork’s semantics.

 

其它参考： http://linux.about.com/library/cmd/blcmdl2_vfork.htm

 

重点：

1. fork不会挂起父进程， vfork会挂起父进程，直到调用execve或_exit

2. 一般来讲，vfork都是会和execve成对出现的

3. vfork中不应该调用exit

4. 当一个特权进程使用vfork来派生一个非特权进程时，在vfork设置为非特权进程之后，调用execve之前，非特权用户给该进程发送一个STOP信号，将可能会挂起特权进程，所以，尽量不要使用vfork

 

关于strace

strace是用来跟踪系统调用的，这里只研究一个问题：

在一个系统调用返回之前，系统调用的参数是否会被显示出来。

 

测试1：

strace 跟踪的部分信息：

我们发现，系统调用nanosleep的第一个参数显示出来了，nanosleep的函数签名如下：

通过对该系统调用的了解，我们发现，第一个参数是要sleep多长时间，而且是const的，不会被修改，所以，在系统调用开始就确定了，所以可以直接显示出来，而第二个参数的含义是： 如果该系统调用因为接收到信号而被迫返回，则第二个参数为该系统调用还剩余的sleep的时间，这个时间只有到该系统调用完成才能确定的，所以，不能立即显示出来。

 

再举个例子吧：

比如connect系统调用：

上面是一个不存在的IP地址，所以连接不上的，导致connect阻塞，我们发现，在connect返回之前，我们已经知道3个参数信息（实际上一共也就3个参数），参数的显示能给我们很有用的信息（IP、Port）。

 

在比如poll系统调用：

跟踪结果：

poll的函数签名如下：

我们发现poll有3个参数，但是在poll返回之前，一个参数信息都没有给出，这是因为第一个参数的值需要等到poll返回才能确定，如果我们strace发现一个已经运行这的进程在poll时阻塞了，将很难知道是哪个文件描述符上阻塞的。

 

who call me?

缘起：

你提供了一批接口，很多使用方在调用，虽然每个调用方都有相应的标识，但是，存在这样一种情况，调用方自己都不知道多少地方在调用，这样的话，如果需要通知调用方修改一些东西的时候，很有可能修改不全。

分析：

接口定义上规定将使用接口的代码的地址写到接口的参数里面； 当然，这个代码的地址如何标识需要考虑一下的：

  1. 机器IP：这个在socket层可以得到，就不用放在参数里面了
  2. 文件的全路径： 这个放在参数中有点儿长，不过，这个年代长这么一点不是什么大问题，似乎也没有人把文件的全路径写到nKB的。
  3. 文件的inode：
    1） inode是文件系统中唯一的，不方便使用
    2） 相同文件的inode在不同的机器上是不一样的，不方便统计

结论：

接口参数规定： caller=__FILE__

tokyotyrant复制的扩展使用

缘起：

tokyotyrant自有的master<->master， master->slave 模式已经不能满足业务的需要，现在期望可以随意复制，选择性复制。

办法：

1. 我们可以直接分析ulog来实现

2. 我们可以参考tokyotyrant的复制协议，通过socket来复制，或者使用C来实现，或者使用自己熟悉的语言实现

3. tokyotyrant提供了一个tcrmgr的工具，其中的repl子命令可以帮助我们通过socket复制数据，我们就可以使用自己熟悉的语言，将输出的信息解析后处理，同步到自己想同步到的地方去

PHP代码：

这里仅仅实现了两个命令的解析。

使用方法：

tcrmgr repl -port 4242 -ts 1345999492000000 -sid 1234 -ph 10.71.6.28|php repl.php

 

记录格式：