递归创建目录的一个函数

下面是从openid的php代码中看到的一个递归创建目录的函数，感觉是比较简洁的，值得参考

<?php
    function ensureDir($dir_name)                                                 
    {                                                                             
        if (is_dir($dir_name) || @mkdir($dir_name)) {                             
            return true;                                                          
        } else {                                                                  
            $parent_dir = dirname($dir_name);                                     
                                                                                  
            // Terminal case; there is no parent directory to create.             
            if ($parent_dir == $dir_name) {                                       
                return true;                                                      
            }                                                                     
                                                                                  
            return (ensureDir($parent_dir) && @mkdir($dir_name));    
        }                                                                         
    }  
?>

Memcacheq 出新版本了

官方地址： http://code.google.com/p/memcacheq/

安装方法在INSTALL里面都说的很明白了，这里就絮叨一下自己安装时遇到的一些问题。

1. 文档中说bdb依赖为： Berkeley DB 4.7 or later； 于是我就下了一个最新的4.8.24， 结果安装时不会自动找4.8版本的，还是找4.7版本的，可能通过修改一些问题可以搞定，但是也没有必要，就重新下了一个4.7版本的，安装很顺利了； 所以说，严格安装文档来安装吧！

2. 启动时忘记指定user了，虽然我将错误做了重定向，但是错误信息还是写到了/dev/null中了，这应该算是一个bug吧。

3. 因为memcacheq的数据时落地的，所以要通过-H参数指定数据存放的路径用以存放数据，且该目录要对指定的user可写

top 命令补充 (ni hi si )

Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.3% us,  0.7% sy,  0.0% ni,  0.0% id, 98.7% wa,  0.3% hi,  0.0% si

I believe it goes something like this –

wa = wiating for IO
us = userspace
sy = system/kernel
ni = nice processs
id = idle
hi = hardware interrupts
si = software interrupts

Tasks: 29 total 进程总数
1 running 正在运行的进程数
28 sleeping 睡眠的进程数
0 stopped 停止的进程数
0 zombie 僵尸进程数
Cpu(s): 0.3% us 用户空间占用CPU百分比
1.0% sy 内核空间占用CPU百分比
0.0% ni 用户进程空间内改变过优先级的进程占用CPU百分比
98.7% id 空闲CPU百分比
0.0% wa 等待输入输出的CPU时间百分比
0.0% hi 硬件中断  
0.0% si 软件中断

Mem: 191272k total 物理内存总量
173656k used 使用的物理内存总量
17616k free 空闲内存总量
22052k buffers 用作内核缓存的内存量
Swap: 192772k total 交换区总量
0k used 使用的交换区总量
192772k free 空闲交换区总量
123988k cached 缓冲的交换区总量。
内存中的内容被换出到交换区，而后又被换入到内存，但使用过的交换区尚未被覆盖，
该数值即为这些内容已存在于内存中的交换区的大小。
相应的内存再次被换出时可不必再对交换区写入。

进程信息区统计信息区域的下方显示了各个进程的详细信息。首先来认识一下各列的含义。
序号 列名 含义
a PID 进程id
b PPID 父进程id
c RUSER Real user name
d UID 进程所有者的用户id
e USER 进程所有者的用户名
f GROUP 进程所有者的组名
g TTY 启动进程的终端名。不是从终端启动的进程则显示为 ?
h PR 优先级
i NI nice值。负值表示高优先级，正值表示低优先级
j P 最后使用的CPU，仅在多CPU环境下有意义
k %CPU 上次更新到现在的CPU时间占用百分比
l TIME 进程使用的CPU时间总计，单位秒
m TIME+ 进程使用的CPU时间总计，单位1/100秒
n %MEM 进程使用的物理内存百分比
o VIRT 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
p SWAP 进程使用的虚拟内存中，被换出的大小，单位kb。
q RES 进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
r CODE 可执行代码占用的物理内存大小，单位kb
s DATA 可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb
t SHR 共享内存大小，单位kb
u nFLT 页面错误次数
v nDRT 最后一次写入到现在，被修改过的页面数。
w S 进程状态。
D=不可中断的睡眠状态
R=运行
S=睡眠
T=跟踪/停止
Z=僵尸进程
x COMMAND 命令名/命令行
y WCHAN 若该进程在睡眠，则显示睡眠中的系统函数名
z Flags 任务标志，参考 sched.h  

sleep 与 stop的区别之一：
sleep是主动放弃cpu的，stop是被动放弃cpu的。

ll /proc/sys/vm/

Solaris线程模型

计算机中正在执行的程序称为进程，进程中单一顺序的控制流叫做线程，进程是资源管理的最小单位，线程是程序执行的最小单位。在操作系统设计上，从进程演化出线程，最主要的目的就是利用线程共享同一地址空间的特点，更好的支持对称多处理（SMP）以及减小（进程/线程）上下文切换开销。

Solaris是Sun公司开发和发布的一种现代操作系统，是UNIX系统的一个重要分支，下面就其内部的线程模型做一些介绍和讨论。

 

Solaris线程模型的设计目标：

       主要有四个方面：

①．能够描述各种情况下的线程间工作机制

②．支持代价尽可能小的线程

③．既支持单CPU实现，又支持多CPU实现

④．保持对现有UNIX版本的兼容性

 

Solaris线程模型的实现方法：

       线程库的高级内核具有多处理及多线程特性，因此Solaris提供了大量的用户级线程库，其使用了一种两层的线程库模型：在高层是用户线程，而底层则是轻量级进程(LWP)。

LWP其实就是内核线程，是Solaris中真正的可调度实体。内核只关心LWP，而不关心用户线程。

用户线程由线程库管理，线程库支持用户线程及LWP之间的一到一、多到多、多到一映射，并且用线程库管理用户线程与LWP池之间的映射关系及用户线程的调度。

Solaris有两种用户线程: 绑定线程（bound threads）和未绑定线程(unbound threads)。一个绑定线程就是用户线程与LWP之间的一一映射，一个未绑定线程则没有一个固定对应的LWP。在一个进程中，线程库在LWP池上对用户线程进行调度。其结构图如下：

对以上两者进行比较，未绑定进程由线程库来实现用户线程获得LWP的调度，而不需要内核的参与，这种方式的线程上下文切换比较快，并且更节省内核资源，solaris根据一定的策略提供一个LWP池，供上面更多的线程分享。

绑定线程和LWP是一对一关系，因此实时调度性要好，但是由于内核的加入，比较浪费资源。绑定线程比起非绑定线程的开销要大。因为绑定线程可以改变它所在的LWP的属性，LWP在绑定线程退出后不会被缓存，在新的绑定线程生成时，操作系统将提供一个新的LWP。仅仅在线程需要只有在所在的LWP内可用的资源时（例如虚拟的定时器或者一个指定的堆栈），或者为了实现实时调度而必须使线程对于内核可见的场合下，才需要使用绑定线程。

 

Solaris对线程的控制与同步：

内核根据LWP的调度类型和优先级对它们进行调度。进程建立时有一个初始LWP被建立，并且继承父进程的调度类型和优先级。一般来说，绑定的用户线程继承底层的LWP调度类型和优先级，而未绑定的则继承父进程的调度类型和优先级。

Solaris内核使用一种抢先的基于优先级的调度机制，高优先级的LWP比低优先级的LWP先执行。Solaris线程库使用优先级对用户线程在LWP池上进行调度，每次选择一个LWP执行已经就绪的用户线程。如果某LWP因无限等待而阻塞，线程库则将其对应的用户线程的上下文保存起来，并分派另一个用户线程到该LWP上执行。线程库通常建立足够多的LWP，以保证进程不发生”饥饿”。

       线程的同步用于共享数据，转换和控制线程执行，保证程序安全。Solaris支持4种线程的同步原语,分别是互斥锁,信号量,多读进程单写进程锁,条件变量。

内核级线程和用户级线程都具有这些原语操作。一条原语执行时创建一个包含线程信息的数据结构，对每个同步对象只能执行加锁和解锁两项操作，但内核和线程库没有提供防死锁机制。

     

总结：

       Solaris作为多线程，多进程型的操作系统，其关于线程实现机制方面一直是业界领先的，了解solaris的多线程实现机制不但能够帮助我们充分理解操作系统对多线程的控制原理，而且对多线程程序的编写技巧的提高也有很大启发。

硬件-中断类型-cpu

cat /proc/interrupts
           CPU0       CPU1      
  0:  858356378  818936397    IO-APIC-edge  timer
  8:          1          0    IO-APIC-edge  rtc
  9:          0          0   IO-APIC-level  acpi
 11:          0          0   IO-APIC-level  ohci_hcd
 15:         19          0    IO-APIC-edge  ide1
177:   71976246   38927350   IO-APIC-level  ioc0
185:         30          0   IO-APIC-level  ioc1
193:          0          0   IO-APIC-level  eth2
201:          0          0   IO-APIC-level  eth3
209:    9605286          0   IO-APIC-level  eth0
217:        208  408548541   IO-APIC-level  eth1
NMI:          0          0

我们发现eth0基本粘在了cpu0上，而eth1基本粘在了cpu1上，通过中断号209  217来查看一下：

cat /proc/irq/217/smp_affinity
00000002
cat /proc/irq/209/smp_affinity  
00000001

就是说通过修改对应中断号的文件smp_affinity，就可以将某个中断号指定到某个cpu上了； 不过该文件是内存里面的，重启机器就没有了，应该在其它地方可以修改，再研究…

更多参考： http://www.ibm.com/developerworks/cn/linux/l-cn-linuxkernelint/index.html

（翻译）Linux命令行（一）

这里的Linux命令行系列是翻译自http://www.linuxguide.it/的，如果你英语够好，推荐你去看原版的。这是第一篇，主要介绍关机重启等操作和查看系统信息等操作的命令。
关机重启等操作

shutdown -h now                       关机
init 0                                        关机
telinit 0                                    关机
shutdown -r hours:minutes &     定时关机
shutdown -c                             取消定时关机
shutdown -r now                       重启
reboot                                     重启
logout                                      注销

                                       查看系统信息
arch                    显示机器的结构
uname -r                显示使用过的内核版本
dmidecode -q            显示硬件系统的组件
hdaparm -i /dev/hda      显示硬盘的特征， 有的硬盘可能不支持
hdparm -tT /dev/sda     在硬盘上执行一个测试的读操作
cat /proc/cpuinfo     显示CPU信息
cat /proc/interrupts     显示中断情况
cat /proc/meminfo     检查内存使用情况
cat /proc/swaps     显示交换文件信息
cat /proc/version     显示内核的版本
cat /proc/net/dev     显示网络适配器和（流量）统计
cat /proc/mounts     显示挂载的文件系统
lspci -tv             显示PCI设备
lsusb -tv             显示USB设备
date                     显示系统日期
cal 2007             显示2007年的时间表
date 041217002007.00      设置日期和时间  格式为（MonthDayhoursMinutesYear.Seconds）
clock -w                保持BIOS中日期的改变

   文件的特殊属性操作
chattr +a file1      让文件或目录仅提供附加用途
chattr +c file1     将文件或目录压缩后存放
chattr +d file1     将文件或目录排除在倾倒操作之外
chattr +i file1     把这个文件变成不可变的文件，不允许删除、修改、重命名和创建链接
chattr +s file1     允许一个文件被安全地删除
chattr +S  file1     即时更新文件或目录
chattr +u file1     语序你在取消的情况下恢复一个文件的内容，预防意外删除
lsattr                     显示特殊的属性

摘自： http://www.hinn.cn/2008/01/linux_command_1.html

这里面几个比较有趣的命令：
cat /proc/interrupts
该命令使我发现有些中断（如某个网卡的中断）可以锁定在某个cpu上，如：
[root@login openid]# cat /proc/interrupts                    
           CPU0       CPU1      
  0:  858356378  818936397    IO-APIC-edge  timer
  8:          1          0    IO-APIC-edge  rtc
  9:          0          0   IO-APIC-level  acpi
 11:          0          0   IO-APIC-level  ohci_hcd
 15:         19          0    IO-APIC-edge  ide1
177:   71976246   38927350   IO-APIC-level  ioc0
185:         30          0   IO-APIC-level  ioc1
193:          0          0   IO-APIC-level  eth2
201:          0          0   IO-APIC-level  eth3
209:    9605286          0   IO-APIC-level  eth0
217:        208  408548541   IO-APIC-level  eth1
NMI:          0          0
LOC: 1677207962 1677207961
ERR:          0
MIS:          0

怎么可以将某些（个）中断指定到某个cpu来处理呢？

cal 12 2009
    December 2009
Su Mo Tu We Th Fr Sa
       1  2  3  4  5
 6  7  8  9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

dmidecode 可以查看机器的一些硬件信息，对于我们查看机器的性能有很大作用

chattr +i file1  
该命令锁定一个文件，这是一个非常强制性的锁

这些都是小命令，大用途

Linux下zip与unzip的用法

zip命令的基本用法是：zip [参数] [文件1] [文件2]
简单的例子：
把本目录下的test文件打包成test.zip文件：zip test.zip test/* ，如果在文件中用绝对的路径，那么在压缩文件中也是绝对路径。就是说，如果你 zip test.zip /home/test/* ,那么在压缩文件中也是这样的层次关系。
参数列表：
-a     将文件转成ASCII模式
-F     尝试修复损坏的压缩文件    
-h     显示帮助界面
-m     将文件压缩之后，删除源文件
-n 特定字符串    不压缩具有特定字尾字符串的文件
-o     将压缩文件内的所有文件的最新变动时间设为压缩时候的时间
-q     安静模式，在压缩的时候不显示指令的执行过程
-r     将指定的目录下的所有子目录以及文件一起处理
-S     包含系统文件和隐含文件（S是大写）
-t 日期     把压缩文件的最后修改日期设为指定的日期，日期格式为mmddyyyy

unzip命令的基本语法是：unzip [参数] zip文件
简单例子：
把本目录下的test.zip文件解压：unzip test.zip
参数列表：
-l     列出压缩文件所包含的内容
-v     显示详细的执行过程

摘自： http://www.hinn.cn/2008/01/linux_zip_unzip.html

google推出免费dns服务

http://bbs2.chinaunix.net/viewthread.php?tid=1623454


[root@login f2r]# nslookup
> server 8.8.8.8
Default server: 8.8.8.8
Address: 8.8.8.8#53
> set type=a
> google.com
Server:         8.8.8.8
Address:        8.8.8.8#53

Non-authoritative answer:
Name:   google.com
Address: 74.125.67.100
Name:   google.com
Address: 74.125.45.100
Name:   google.com
Address: 74.125.53.100
> sina.com
Server:         8.8.8.8
Address:        8.8.8.8#53

Non-authoritative answer:
Name:   sina.com
Address: 12.130.152.116
>

8.8.8.8 太强悍的；
还有更强悍的： 4.3.2.1

比较值得思考的是：

这种事情由商业公司干不好吧
都用8.8.8.8，那google要干掉竞争对手，岂非太容易了。

关于导数据的一些心得

这次导数据，有所得，也有所失。
1. 如果可能的话，尽量使用文件处理；
   a. 因为我对业务没有足够的了解，没有使用文件处理
   b. 因为数据不太干净，没敢使用文件处理

2. 本来只处理正查表就够了，由于我对业务的不熟悉，使得处理时间翻倍了

3. sql语句总是可以优化的：
   a. 把select * 修改为指定的需要的某个或某几个字段，而且尽量让这几个字段出现在使用的索引里，这样本次查询就不需要访问数据文件了
   b. 大数据量的分批查询有两种方法： 根据某字段做hash； 根据某字段排序，注意order by where limit

4. 着实领教了文件系统的cache对mysql的影响。