docker之 docker ps无响应

现象：

docker exec无法进入容器，docker ps没有响应，strace跟踪docker daemon进程未发现明显异常（基本是水平不够，所以看不出来），但是能知道docker ps之所以没有响应，是和锁有关系，应该是有一个什么操作阻塞所致。

解决过程：

  1. docker daemon的事情基本和所启动的容器有关系，可以肯定一点的是，重启daemon就能好，但是该daemon下启动着几十个虚拟机，都将会停止，影响面比较大，而且该问题将来必然还会出现；所以，重启daemon是下下策
  2. 如果能找到有问题的容器，然后杀掉该容器，或者也许能找到问题根源；但是似乎比较难
  3. 庆幸的是，从日志上基本可以知道开始出现问题的时候刚好是启动某个容器的时候，那么，很有可能是该容器导致的，不妨试一试
  4. 所有容器的1号进程都一样，子进程都相像，docker destroy、docker ps 、docker inspect都没有响应，如何杀掉指定的容器？
  5. 办法： grep 所有容器的config.json，根据容器名确定哪个config.json 是有问题的容器的，然后，该config.json 中有该容器1号进程的pid，然后取出而杀之
  6. 问题解决

其他想到的：

  1. 一般来讲，每个容器都有一个hostname，默认是容器id的前面一部分，如果能知道这个问题都好办；但是我们的hostname被自定义了，那么，在知道hostname的情况下，找容器1号进程pid非常方便，因为hostname是进程环境变量的一部分（HOSTNAME)，所以，可以：
    grep -l the_hostname /proc/*/envrion
    其中就包含容器1号进程的pid
  2. 如果能在1号进程名上区分开来会更加方便，我们的docker容器的1号进程都是/sbin/init，如果能添加一个进程/sbin/init 不会在意的多余的参数作为标识，便是极好的（一般来讲是可以的），但是测试发现给/sbin/init 添加的参数在ps的时候都是不给显示的（大概这里的init是entrypoint，不是cmd）
  3. 在创建容器的时候，给容器指定一个具有标识性的环境变量，也将有助于找到进程的pid
  4. docker top的时候，我们可以看到容器里面的进程信息，但是这里看到的进程id是容器里面的私有pid，每个私有pid都在宿主机上对应一个全局的pid，根据全局的pid也可以通过 “pstree -p 全局的pid ”来查看容器里面的所有进程，然后，还可以做到不进入容器就能strace容器里面的进程的pid
  5. nsenter和docker的exec都能进入容器里面，但是docker的exec依赖docker daemon进程，如果docker daemon进程无法响应，就不好使了；而nsenter却不依赖docker daemon进程，直接就可以进入容器内部（我没有试过哦）

stunnel vs spipe vs shadowsocks

shadowsocks ~= spipe + socket5_proxy

即：

shadowsocks_client   —–基于共享密码的加密数据—-> shadowsocks_server(解密数据，并将解密后的数据作为socket5协议来处理）

spipe和stunnel只是简单的数据的加密传输

如果client支持socket5代理，则使用shadowsocks比较方便；如果client不支持socket5代理，则需要在shadowsocks_client 前面添加一个支持socket5代理的proxy，如：（polipo）

如果client不支持任何代理设置，则可以通过一个自建的dns+stunnel+sniproxy来实现：

  1. 将需要代理的域名，通过dns解析到stunnel
  2. stunnel_client对数据进行加密传输给stunnel_server，stunnel_server解密数据并转给sniproxy
  3. sniproxy进行代理

spipe 是基于共享秘钥加密的，没有认证功能；也有其他基于ssl的实现方式，具有认证功能，如： https://github.com/dchest/spipe

stunnel是通过ssl实现的，具有认证功能

基于ssl握手认证的实现需要配置证书相关的东西，相对共享秘钥来讲麻烦一些

centos7之systemctl

Centos7之前，我们都通过service命令来管理（启动、停止、重启）服务，通过chkconfig来管理服务的自启动； 然而，这两个命令并不属于同一个软件包， service命令属于initscripts软件包，chkconfig是一个单独的chkconfig软件包。

service命令非常好用，但是服务名和操作的顺序不太符合一些人的口味，如： service mysql start ; 有些人就经常写做： service start mysql

而，chkconfig虽然可以添加、查看服务，但是添加的服务脚本也有一点苛刻，脚本中需要添加：

别以为这是注释，没有的话，chkconfig add是不认的，如果不chkconfig add的话，chkconfig也list不出来你的服务的。

Centos7中服务的管理使用的是systemctl， 他是systemd软件包中的一个命令，该命令不仅仅管理服务，包括关机都能管

几个关键路径：

  1. 服务脚本目录： /usr/lib/systemd/system/
  2. 服务自动启动目录：/etc/systemd/system/
    systemctl enable xxx的时候就在这个目录下添加一个软连接到实际的脚本

参考资料： http://www.linuxidc.com/Linux/2015-04/116648.htm

 

systemd-vs-sysVinit-cheatsheet

 

数据结构 之 树

概述

树的章节一般分两大部分： 一部分将树，一部分将二叉树；虽然二叉树也是树，但是二叉树足够特殊，足够有用，所以重点来讲；或者说，如果不是二叉树，树的家族也不会如此的德高望重。

在二叉树中，又有一些特殊性质的二叉树，可能没法用树的结构来描述他们之间的关系；比如： 满二叉树一定是完全二叉树；完全二叉树和二叉排序树直接却没有从属关系；完全二叉树和二叉排序树是从不同的维度定义出来的特殊的二叉树。

二叉排序树（也叫二叉查找树）在树的家族中是一颗耀眼的明星，但是在树的章节中没有被介绍，大概因为这是二叉树的实际应用，而和树本身的形态没有直接关系；还有一些特殊的树，如：红黑树、B+、B-树，稍后再研究，有些数据结构的书是没有提及的，大概因为这些东西可以自学，不需要教吧。

树

树的逻辑结构

树的定义

树是n（n>=0)个结点的有限集合。当 n= 0 时，称为空树；任意一颗非空树满足一下两个条件：

  1. 有且只有一个特定的称为根的结点
  2. 当 n > 1 时，除根结点之外的其余结点被分成m(m>0)个互不相交的有限集合T1, T2, …, Tm，其中每个集合又是一棵树，并称为这个根结点的子树

树的基本术语

  1. 结点的度，树的度
  2. 叶子结点，分支结点
  3. 孩子结点，双亲结点，兄弟结点
  4. 路径、路径长度
  5. 祖先、子孙
  6. 结点的层数、树的深度（高度）
  7. 层序编号
  8. 有序树、无序树
  9. 森林
  10. 同构

树的表示形式

一般有四种表示形式：

  1. 树形图
  2. 嵌套图
  3. 凹凸表
  4. 广义表

树的遍历

  1. 前（根）序遍历
  2. 后（根）序遍历
  3. 层序遍历
    注： 这里说的是树，不是二叉树，所以没有中序遍历（如果有的话，三个子树的树根应该放哪里？）

树的存储结构

  1. 双亲表示法
    1. 思想： 每个结点都记住自己双亲结点的位置（即可保证该树是唯一的）
    2. 缺点： 要找到一个结点的所有孩子是比较麻烦的
    3. 使用数组存储还是比较方便的
  2. 孩子表示法
    1. 思想： 每个结点都记住自己孩子的位置（即可保证该树是唯一的）
    2. 缺点： 要找到结点的双亲结点比较麻烦
    3.  两种形式：
      1.  多重链表标识
        1. 思想： 父亲那N个绳拉住自己的N个孩子
        2. 关于拿几根绳？两种办法：
          1. 有几个孩子拿几根绳
            1. 需要有一个地方记录自己的绳子数目（就是该结点的度）
          2. 孩子最多的父亲拿几根绳子大家就都拿几根绳子
            1. 没人的绳子数目是一样的，不需要各自记录
      2. 孩子链表
        1. 思想：所有节点维护在一个数组中；然后，父亲拿一根绳子牵着老大，然后老大牵着老二；依次类推
  3. 孩子双亲表示法
    1. 思想：孩子表示法中，添加一个双亲节点的指针
  4. 孩子兄弟表示法
    1. 思想： 每个节点都左手拉着自己孩子，右手拉着自己的弟弟妹妹

二叉树

概述

二叉树是一种最简单的树结构，其存储结构更具有规范性和确定性，在一系列条件的约束下，使得二叉树具有很多的性质，方便我们研究和使用二叉树。

二叉树的定义

二叉树的5种基本形态

  1. 空二叉树
  2. 只有一个根结点
  3. 根结点只有左子树
  4. 根结点只有右子树
  5. 根结点既有左子树又有右子树

特殊二叉树

  1. 斜树
    1. 左斜树
    2. 右斜树
  2. 满二叉树
  3. 完全二叉树
    1. 从满二叉树的最后面的结点去掉n (n >= 0)个结点都是完全二叉树
    2. 满二叉树是一种特殊的完全二叉树

二叉树的性质

二叉树有5个重要的性质，他们主要讨论了树的深度、结点数等之间的关系

  1. 在二叉树的第i层上至多有2i-1个结点 (i >= 1)
  2. 深度为k的二叉树至多有2k-1个结点 (k >=1)
  3. 对任何一颗二叉树T，如果其叶子结点数为n0，度为2的结点数为n2，则：n0=n2+1
  4. 具有n个结点的完全二叉树的深度为log2n+1
  5. 如果有一颗有n个节点的完全二叉树的节点按层次序编号，对任一层的节点i（1<=i<=n）有1.如果i=1，则节点是二叉树的根，无双亲，如果i>1，则其双亲节点为[i/2]，向下取整

    2.如果2i>n那么节点i没有左孩子，否则其左孩子为2i

    3.如果2i+1>n那么节点没有右孩子，否则右孩子为2i+1

二叉树的遍历

  1. 前序遍历
  2. 中序遍历
  3. 后序遍历

二叉树的存储

顺序表

思想： 将一棵树通过添加“虚节点”的方式完善成完全二叉树，然后存储

缺点： 空间浪费严重，只适合存储完全二叉树的情况

链式存储

  1. 二叉链表
    1. 思想： 每个结点包含数据域和左右孩子两个指针域
    2. 缺点： 寻找双亲结点不方便
  2. 三叉链表
    1. 思想： 在二叉链表的基础上添加双亲结点指针域

线索链表

实际问题： select * from tb where id < N limit 2; 在这种情况下，我们不仅要查到id=2的结点，还要找到他附近的一些结点；即： 需要访问二叉树中的结点在某种遍历序列中的前驱和后继；

于是： 在存储结构中应该保存结点在某种遍历序列中前驱和后继的信息。

思想： 根据二叉树的性质可知，二叉树中有n+1个指针域为空，可以想办法利用起来；通过添加标记来区分是孩子指针还是前驱（或后继）指针；注意： 挨着自己的孩子在线索化中未必就挨着自己，但是要找到挨着自己的那个结点并不难，对于中序线索链表，如果自己子树的深度为k，则，找到自己的前驱或后继的时间复杂度为log2k

由于二叉树的遍历次序有三种，因此有三种意义上的前驱和后继，相应的也有三种线索链表：前序线索链表、中序线索链表、后序线索链表。中序线索链表看起来更加直观一些

中序线索链表上求结点前驱
中序线索链表上求结点后继
中序线索链表上遍历

 

linux 之 fs.inotify

tail -f 时，有如下报错：

说明：tail -f 在远古的时候，是不断地轮询检查文件有没有更新，这个方式效率比较低；新石器时代，kernel提供了inotify机制，就是，你不需要总来问，只要你说一声，文件有更新的话我就通知你，strace 部分信息如下：

上面的错误是： 需要notify的文件太多超过最大限制了，修改方式如下：

修改 fs.inotify.max_user_instances 到一个更大的值

 

PAM配置ldap验证

PAM是linux上提供的一个可插拔认证模块，应该说还是比较强大、方便好用的，但是一旦配置不好，遇到问题也是不好解决的。

通过authconfig-tui图形界面配置是比较简单的，但是，现在有遇到问题了。

vsftpd通过ldap验证无法正常登录，如果去读pam的相关规范然后debugpam代码去发现问题将会花费很多的时间，怎么办呢？

首先， 通过strace、tcpdump确认ftp验证确实走了ldap而且返回结果是正确的。

其次， 确认ssh能正常登录

第三， 比较ssh、vsftpd的pam文件，通过注释掉一些行来验证是哪些配置有问题
注释掉如下行，问题解决：

man pam_shells

然后，cat /etc/shells

问题查到这里基本要结束了，因为记起我们的ldap中没有设置登录shell的属性

 

遗留问题： 为什么ldap中缺少登录shell的时候，ssh登录没有问题？

 

 

文件同步

场景：

同步大量文件从A到B， 先同步全量，在同步增量

scp同步文件也能同步目录，但是同步目录中的增量就不太好使了

  1. scp 可以同步目录，但是是完全覆盖目标目录，保持和源一样，重复复制，目标目录中多余的文件会被删掉（rsync效果一样）
  2. 不期望同步正在写的文件（比如，认为修改时间在1分钟前的文件是可以同步的；当然不能完全避免同步的时候又突然有写入）

脚本：

功能： 将目标机器的文件同步到本地对应目录（这里是相同目录）

注意：

  1. 同步2天内、1分钟前修改过的文件
  2. find命令的 -mtime 是以24小时为单位计算的，如:
    1. 24小时前、48小时内： -mtime 1
    2. 24小时内： -mtime 0
    3. 48小时内：-mtime -1
  3. -mmin 和 -mtime不太一样
    1. 1分钟内： -mmin 1  （而不是 -mmin 0）