PHPor 的Blog – 第52页

关于mysql的max_allowed_packet

max_allowed_packet 定义的是所允许的单条sql语句的大小。

引用官方的说法：http://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_max_allowed_packet

You must increase this value if you are using large BLOB columns or long strings. It should be as big as the largest BLOB you want to use. The protocol limit for max_allowed_packet is 1GB. The value should be a multiple of 1024; nonmultiples are rounded down to the nearest multiple.

解释一下：

该值的类型为integer，允许的最大值为1G (理论上4个字节的表达能力的上限是4G，也或许协议实现上硬编码了吧）
该变量的默认值为4MB，一般来讲是够的，如果存储大的BLOB列，可能不够，需要修改该配置
该值总是1KB的整数倍，最小值为1KB；修改的值应该是1024的整数倍，如果不是整数倍，则会按照小于该值的最接近的那个1024的整数倍进行截断处理，并产生1个warning；（注意：如果设置的值小于1024，则自动调整为1024）如下：

其实，将max_allowed_packet 设置为比 net_buffer_length 小的意义不大，所以，这里同样会出现一个warning，只是不会强制将max_allowed_packet修改为大于等于net_buffer_length的
比较专业的设置该值的方法为：

set global max_allowed_packet=100*1024*1024;

1

set global max_allowed_packet=100*1024*1024;
session的max_allowed_packet是不允许修改的，修改了全局配置对当前session也不会生效的，只有重新连接才能看到变化

记录一次sql优化

一大早到公司，加班一宿的同事就跟我抱怨，说，一个表只有8w条数据，需要更新一列，根据目前进度估算，大概需要3个小时，即使不需要更新，查询每条数据也需要400ms左右；

或许确实配置太低，或许确实表的字段太多，我并没有过于吃惊，但是3小时确实太多，便一起查了一下：

iops并不高，说明内存够用
cpu很高，很可能没有合适的索引，说是用了索引了，还是确认一下吧
果然搞错了，没有用到索引
8w条数据，添加索引也应该很快，于是添加了一个索引，耗时不到10s
执行sql语句，还是很慢，explain显示可能能用到我们刚才添加的索引，但是rows上来看还是全表扫描，为什么？
sql语句大致为： update table1 set bb=1 where aa=123
现在已经基本可以怀疑aa的类型应该不是int的了，查看表结构，果然aa的类型为varchar
修改sql语句：update table1 set bb=1 where aa=’123′
重新开始更新8w条数据，共耗时不到10s

分析：

因为aa是varchar类型，如果要和一个数字比较，势必要对aa进行转换，如此就用不到索引了；这种错误太容易出现了

用shell试图使用大量内存的方法

一条命令：

dd if=/dev/zero of=/dev/null bs=1G count=1 && echo succ

1	dd if=/dev/zero of=/dev/null bs=1G count=1 && echo succ

如果要持续占用一段时间呢?

dd if=/dev/zero of=/dev/null bs=1G count=1 | sleep 1000

1	dd if=/dev/zero of=/dev/null bs=1G count=1 \| sleep 1000

能否把1G的数据保存到shell的变量中呢？

$ a=$(dd if=/dev/zero of=/dev/stdout bs=1G count=1)

1	$ a=$(dd if=/dev/zero of=/dev/stdout bs=1G count=1)

测试是不行的，可能是太大了吧

关于docker-runc

docker命令行会有一系列的操作容器的方法，如： create 、run、start、exec等等，这些都是通过docker daemon的sock文件由docker daemon实现的，那么docker daemon又是如何实现的呢？

docker-runc就是最终执行的程序，docker-runc也提供了一系列类似于docker的操作，如： create、start、run、exec等，当然，也不完全一样；docker-runc exec的时候可以指定环境变量、进程的能力等，所以，我们可以直接使用docker-runc来在已有的容器内部执行命令，需要注意的是，docker create时定义的环境变量需要通过选项指定，因为docker-runc不知道这些（奇怪的是，预定义的进程的能力似乎是知道的）

关于容器中进程的继承关系

下图是一个容器中的进程：

每个容器总是有一个1号进程
1号进程的父进程在容器中显示为0号进程，而在容器外表现为进程 docker-containerd-shim
容器中的1号进程不同于宿主机的1号进程那么NB，宿主机的1号进程直接或间接地领导所有其它进程；而容器中的1号进程并不一定直接或间接地领导所有进程，取决于这些进程是否1号进程来创建的，这些进程的父进程死掉后会最终归属到容器内所谓的0号进程而非1号进程，不过，容器中所谓的0号进程并非都是同一个进程
docker top 显示的容器中的进程可能不太全，与是否该进程归属于1号进程没有任何关系；与进程是否最终归属于该容器的管理进程docker-containerd-shim也没有关系，如果是nsenter进入容器，则启动的进程在docker top中是看不到的，虽然该进程在容器中显示的ppid也是0，其实同样是0的ppid却可能不是同一个进程，因为，只要父进程在容器外部，则容器内部显示的ppid就统一为0；为什么docker top可能看到的不全？docker top是如何实现的呢？参看： https://phpor.net/blog/post/4420

关于PHP Fatal error时获取更多信息

PHP 输出错误时的堆栈情况：

#0  php_error_cb (type=1, error_filename=0x7ffff7fdbaf0 "/data3/eatmem.php", error_lineno=3,
    format=<value optimized out>, args=<value optimized out>)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/main/main.c:1132
#1  0x00000000006ae29c in zend_error (type=1,
    format=0xb09580 "Allowed memory size of %ld bytes exhausted (tried to allocate %lu bytes)")
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend.c:1128
#2  0x0000000000687848 in zend_mm_safe_error (heap=0xe2f050,
    format=0xb09580 "Allowed memory size of %ld bytes exhausted (tried to allocate %lu bytes)", limit=1048576,
    size=2048001) at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_alloc.c:1777
#3  0x00000000006884e6 in _zend_mm_alloc_int (heap=0xe2f050, size=2048001)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_alloc.c:1980
#4  0x000000000061195b in zif_str_repeat (ht=<value optimized out>, return_value=0x7ffff7fdb058,
    return_value_ptr=<value optimized out>, this_ptr=<value optimized out>,
    return_value_used=<value optimized out>)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/ext/standard/string.c:4917
#5  0x000000000073070b in zend_do_fcall_common_helper_SPEC (execute_data=<value optimized out>)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_vm_execute.h:550
#6  0x0000000000721f50 in execute_ex (execute_data=0x7ffff7fa8210)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_vm_execute.h:363
#7  0x00000000006ad719 in zend_execute_scripts (type=8, retval=0x0, file_count=3)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend.c:1327
#8  0x000000000064ef7a in php_execute_script (primary_file=0x7fffffffe070)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/main/main.c:2525
#9  0x000000000075fdbc in do_cli (argc=6, argv=0xe2ec30)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/sapi/cli/php_cli.c:994
#10 0x0000000000760558 in main (argc=6, argv=0xe2ec30)
    at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/sapi/cli/php_cli.c:1378

#0 php_error_cb (type=1, error_filename=0x7ffff7fdbaf0 "/data3/eatmem.php", error_lineno=3,

format=<value optimized out>, args=<value optimized out>)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/main/main.c:1132

#1 0x00000000006ae29c in zend_error (type=1,

format=0xb09580 "Allowed memory size of %ld bytes exhausted (tried to allocate %lu bytes)")

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend.c:1128

#2 0x0000000000687848 in zend_mm_safe_error (heap=0xe2f050,

format=0xb09580 "Allowed memory size of %ld bytes exhausted (tried to allocate %lu bytes)", limit=1048576,

size=2048001) at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_alloc.c:1777

#3 0x00000000006884e6 in _zend_mm_alloc_int (heap=0xe2f050, size=2048001)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_alloc.c:1980

#4 0x000000000061195b in zif_str_repeat (ht=<value optimized out>, return_value=0x7ffff7fdb058,

return_value_ptr=<value optimized out>, this_ptr=<value optimized out>,

return_value_used=<value optimized out>)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/ext/standard/string.c:4917

#5 0x000000000073070b in zend_do_fcall_common_helper_SPEC (execute_data=<value optimized out>)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_vm_execute.h:550

#6 0x0000000000721f50 in execute_ex (execute_data=0x7ffff7fa8210)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend_vm_execute.h:363

#7 0x00000000006ad719 in zend_execute_scripts (type=8, retval=0x0, file_count=3)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/Zend/zend.c:1327

#8 0x000000000064ef7a in php_execute_script (primary_file=0x7fffffffe070)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/main/main.c:2525

#9 0x000000000075fdbc in do_cli (argc=6, argv=0xe2ec30)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/sapi/cli/php_cli.c:994

#10 0x0000000000760558 in main (argc=6, argv=0xe2ec30)

at /data3/rpmbuild/SOURCES/beebank-php5-5.5.25.1/sapi/cli/php_cli.c:1378

如果需要添加更多的信息，只需要在php_error_cb 函数里面添加就行了

关于C语言之字符串拼接（堆与栈）

且看一个demo:

int do_sth(int type) {
    char *errstr;
    
    switch(type) {
    case 1:
        errstr = "Error";break
    case 2:
        errstr = "Warn";break
    case 3:
        errstr = "Info";break
    case 4:
        errstr = "Debug";break
    default:
        return 0;
    }

    if (...) {..}
    if (...) {
        ..;
        fprintf(stdout, "%s %s", errstr, ...);
        return 1;
    }
    if (...) { return 1;}
    if (...) {
        fprintf(stderr, "%s %s", errstr, ...);
    }
    ...
    return 0;
}

int do_sth(int type) {

char *errstr;

switch(type) {

case 1:

errstr = "Error";break

case 2:

errstr = "Warn";break

case 3:

errstr = "Info";break

case 4:

errstr = "Debug";break

default:

return 0;

}

if (...) {..}

if (...) {

..;

fprintf(stdout, "%s %s", errstr, ...);

return 1;

}

if (...) { return 1;}

if (...) {

fprintf(stderr, "%s %s", errstr, ...);

}

...

return 0;

}

问题：如何在errstr信息前面添加一个HOSTNAME 环境变量信息？

考虑到errstr有可能写到标准错误，也有可能写到标准输出，也有可能根本就不输出，所以，提前输出HOSTNAME 信息显然不合适
考虑到引用errstr的地方确实不少，最好一开始就拼接HOSTNAME到该errstr 上面去，那么如何拼接呢？

如果是在脚本语言或者带有gc的语言中，完全可以直接在errstr变量前面拼接那个动态获取到的环境变量，如：

errstr=getenv("HOSTNAME") + errstr ;

1	errstr=getenv("HOSTNAME") + errstr ;

但是c中却不能这样，为什么呢？字符串拼接的函数不是有的吗，如：strcat；

事实却并非如此简单，为什么呢？

上面的errstr变量是存储在栈上的，不需要考虑free的问题，原作者考虑到后续一大堆复杂的if分支，如果把errstr放在堆上，处处要考虑是不是该把errstr free掉，得死多少脑细胞啊！

对于HOSTNAME是个运行时的信息，显然没法放到栈上，如果非要和errstr拼接起来的话，errstr必须在堆上，即要动态的malloc，由此可见，对于脚本语言来讲，一个非常简单的逻辑，在C中却如此的麻烦

解决办法：

为了既不需要free，又能拼接字符串，可以定义一个字符数组，如： errstr[255]，然后，把需要的信息加进去；为了避免信息太多而不小心越界，可以使用snprintf函数，自动丢弃超长的部分

关于php-fpm reload的优雅实现

我们知道，nginx的reload是不会影响服务的，php-fpm也有reload 功能，而且确实不是restart，但是却是影响服务的，下面给出一种改进方式，是的php-fpm的reload不影响服务

修改源代码：

重写init脚本：

#! /bin/sh

### BEGIN INIT INFO
# Provides:          php-fpm
# Required-Start:    $remote_fs $network
# Required-Stop:     $remote_fs $network
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: starts php-fpm
# Description:       starts the PHP FastCGI Process Manager daemon
### END INIT INFO

php_fpm_BIN=/usr/sbin/php-fpm
php_fpm_CONF=/etc/php/php-fpm.conf
php_fpm_PID=/var/run/php-fpm.pid
tmp_pid=/var/run/php-fpm.tmp.pid


php_opts="--fpm-config $php_fpm_CONF --pid $tmp_pid"


wait_for_pid () {
	local pid=$1
	while kill -0 $pid >/dev/null 2>&1 ; do
		sleep 1;
	done
}

case "$1" in
	start)
		echo -n "Starting php-fpm "

		$php_fpm_BIN --daemonize $php_opts

		if [ "$?" != 0 ] ; then
			echo " failed"
			exit 1
		fi
		cat $tmp_pid >$php_fpm_PID
		echo " done"
	;;

	stop)
		echo -n "Gracefully shutting down php-fpm "

		if [ ! -r $php_fpm_PID ] ; then
			echo "warning, no pid file found - php-fpm is not running ?"
			exit 1
		fi
		pid=$(cat $php_fpm_PID)
		kill -QUIT $pid

		wait_for_pid $pid

		echo " done"
	;;

	status)
		if [ ! -r $php_fpm_PID ] ; then
			echo "php-fpm is stopped"
			exit 0
		fi

		PID=`cat $php_fpm_PID`
		if ps -p $PID | grep -q $PID; then
			echo "php-fpm (pid $PID) is running..."
		else
			echo "php-fpm dead but pid file exists"
		fi
	;;

	force-quit)
		echo -n "Terminating php-fpm "

		if [ ! -r $php_fpm_PID ] ; then
			echo "warning, no pid file found - php-fpm is not running ?"
			exit 1
		fi
		pid=$(cat $php_fpm_PID)
		kill -TERM $pid

		wait_for_pid $pid

		echo " done"
	;;

	restart)
		$0 stop
		$0 start
	;;

	reload)

		echo -n "Reload service php-fpm "

		if [ ! -r $php_fpm_PID ] ; then
			echo "warning, no pid file found - php-fpm is not running ?"
			exit 1
		fi
		pid=$(cat $php_fpm_PID)
		error=$($0 start >/dev/null)
		[[ "$error" != "" ]] && echo $error && exit 1

		kill -QUIT $pid
		# 这里等待该pid似乎也不太好
		echo " done"
	;;

	configtest)
		$php_fpm_BIN -t
	;;

	*)
		echo "Usage: $0 {start|stop|force-quit|restart|reload|status|configtest}"
		exit 1
	;;

esac

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

#! /bin/sh

### BEGIN INIT INFO

# Provides: php-fpm

# Required-Start: $remote_fs $network

# Required-Stop: $remote_fs $network

# Default-Start: 2 3 4 5

# Default-Stop: 0 1 6

# Short-Description: starts php-fpm

# Description: starts the PHP FastCGI Process Manager daemon

### END INIT INFO

php_fpm_BIN=/usr/sbin/php-fpm

php_fpm_CONF=/etc/php/php-fpm.conf

php_fpm_PID=/var/run/php-fpm.pid

tmp_pid=/var/run/php-fpm.tmp.pid

php_opts="--fpm-config $php_fpm_CONF --pid $tmp_pid"

wait_for_pid () {

local pid=$1

while kill -0 $pid >/dev/null 2>&1 ; do

sleep 1;

done

}

case "$1" in

start)

echo -n "Starting php-fpm "

$php_fpm_BIN --daemonize $php_opts

if [ "$?" != 0 ] ; then

echo " failed"

exit 1

cat $tmp_pid >$php_fpm_PID

echo " done"

;;

stop)

echo -n "Gracefully shutting down php-fpm "

if [ ! -r $php_fpm_PID ] ; then

echo "warning, no pid file found - php-fpm is not running ?"

exit 1

pid=$(cat $php_fpm_PID)

kill -QUIT $pid

wait_for_pid $pid

echo " done"

;;

status)

if [ ! -r $php_fpm_PID ] ; then

echo "php-fpm is stopped"

exit 0

PID=`cat $php_fpm_PID`

if ps -p $PID | grep -q $PID; then

echo "php-fpm (pid $PID) is running..."

else

echo "php-fpm dead but pid file exists"

;;

force-quit)

echo -n "Terminating php-fpm "

if [ ! -r $php_fpm_PID ] ; then

echo "warning, no pid file found - php-fpm is not running ?"

exit 1

pid=$(cat $php_fpm_PID)

kill -TERM $pid

wait_for_pid $pid

echo " done"

;;

restart)

$0 stop

$0 start

;;

reload)

echo -n "Reload service php-fpm "

if [ ! -r $php_fpm_PID ] ; then

echo "warning, no pid file found - php-fpm is not running ?"

exit 1

pid=$(cat $php_fpm_PID)

error=$($0 start >/dev/null)

[[ "$error" != "" ]] && echo $error && exit 1

kill -QUIT $pid

# 这里等待该pid似乎也不太好

echo " done"

;;

configtest)

$php_fpm_BIN -t

;;

echo "Usage: $0 {start|stop|force-quit|restart|reload|status|configtest}"

exit 1

;;

esac

注意：

该功能要求linux内核版本较高，需要支持socket的SO_REUSEPORT 特性，我的3.10的内核已经支持了
php-fpm 的pid文件是php-fpm进程来维护的，同时启动多个php-fpm不太方便，所以需要玩一些手段；虽然不指定pid文件参数也可以，但是我不知道如何才能方便地拿到php-fpm的pid信息，所以还是指定了pid参数

关于PHP中的长连接

长连接（也叫持久连接）是啥？

对于PHP来讲，如果是运行在web模式，每次请求完成，php会回收所有需要的申请的资源，但是也可以申请一些特殊的资源，php可以不回收，比如：长连接。

优点：长连接省却了每次连接的麻烦，也有效减少了timewait的数量

长连接真的好吗？

PHP中没有提供关闭（销毁）长连接的方法，当长连接出现意外时，将无所适从，更常见的是请求超时，都很不方便处理
同一个服务只能存在一个连接，如果想非阻塞地并发请求同一个服务（相同的目标ip、port），做不到！第二次的pfsockopen得到的是第一次pfsockopen的那个连接，php不会标识一个长连接是否在使用中

鉴于上面两点，感觉长连接真的好鸡肋

关于docker daemon占用大量内存的问题

问题现象：

问题环境：

# docker info
Containers: 5
 Running: 3
 Paused: 0
 Stopped: 2
Images: 6
Server Version: 1.12.1
Storage Driver: devicemapper
 Pool Name: data-docker_thinpool
 Pool Blocksize: 524.3 kB
 Base Device Size: 21.47 GB
 Backing Filesystem: xfs
 Data file:
 Metadata file:
 Data Space Used: 5.911 GB
 Data Space Total: 42.95 GB
 Data Space Available: 37.04 GB
 Metadata Space Used: 1.122 MB
 Metadata Space Total: 2.147 GB
 Metadata Space Available: 2.146 GB
 Thin Pool Minimum Free Space: 4.295 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: true
 Deferred Deletion Enabled: false
 Deferred Deleted Device Count: 0
 Library Version: 1.02.107-RHEL7 (2016-06-09)
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge null overlay host
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Security Options: seccomp
Kernel Version: 3.10.0-327.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 7.389 GiB
Name: iZbp10zkx5pckci8f8gzalZ
ID: NRZQ:4DNU:U4LN:M4K2:TOKQ:Q7HP:ZI7A:Q6UT:RGLR:OS5G:5VDS:AYOH
Docker Root Dir: /data3/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
Insecure Registries:
 docker-registry.i.beebank.com:5000
 127.0.0.0/8

# docker info

Containers: 5

Running: 3

Paused: 0

Stopped: 2

Images: 6

Server Version: 1.12.1

Storage Driver: devicemapper

Pool Name: data-docker_thinpool

Pool Blocksize: 524.3 kB

Base Device Size: 21.47 GB

Backing Filesystem: xfs

Data file:

Metadata file:

Data Space Used: 5.911 GB

Data Space Total: 42.95 GB

Data Space Available: 37.04 GB

Metadata Space Used: 1.122 MB

Metadata Space Total: 2.147 GB

Metadata Space Available: 2.146 GB

Thin Pool Minimum Free Space: 4.295 GB

Udev Sync Supported: true

Deferred Removal Enabled: true

Deferred Deletion Enabled: false

Deferred Deleted Device Count: 0

Library Version: 1.02.107-RHEL7 (2016-06-09)

Logging Driver: json-file

Cgroup Driver: cgroupfs

Plugins:

Volume: local

Network: bridge null overlay host

Swarm: inactive

Runtimes: runc

Default Runtime: runc

Security Options: seccomp

Kernel Version: 3.10.0-327.el7.x86_64

Operating System: CentOS Linux 7 (Core)

OSType: linux

Architecture: x86_64

CPUs: 4

Total Memory: 7.389 GiB

Name: iZbp10zkx5pckci8f8gzalZ

ID: NRZQ:4DNU:U4LN:M4K2:TOKQ:Q7HP:ZI7A:Q6UT:RGLR:OS5G:5VDS:AYOH

Docker Root Dir: /data3/docker

Debug Mode (client): false

Debug Mode (server): false

Registry: https://index.docker.io/v1/

WARNING: bridge-nf-call-iptables is disabled

WARNING: bridge-nf-call-ip6tables is disabled

Insecure Registries:

docker-registry.i.beebank.com:5000

127.0.0.0/8

dockerd 打开的文件数太多了， ~ 4w

类似如下：

# lsof -p 5483|tail
dockerd 5483 root *142r FIFO 0,18 0t0 65967126 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/78ca64efd92379182ea6e8cd8c4feb5e55d60881ec34f4527b446345f6755967-stderr
dockerd 5483 root *143r FIFO 0,18 0t0 66012750 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/1037b07b2024c85b77f6f3d94c9a3c60b99a546dc3ff2f2ee8ec2182bf74ff03-stderr
dockerd 5483 root *145u FIFO 0,18 0t0 66100248 /run/docker/libcontainerd/76db8384ab95c2797f6f1b5e6bdc1b6633f117648508c14a676bed53ea437731/9f440b526129813ab7bad3a880d4aa0296e8e56d6ccc076dca4064919d141520-stdin (deleted)
...

# lsof -p 5483|tail

dockerd 5483 root *142r FIFO 0,18 0t0 65967126 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/78ca64efd92379182ea6e8cd8c4feb5e55d60881ec34f4527b446345f6755967-stderr

dockerd 5483 root *143r FIFO 0,18 0t0 66012750 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/1037b07b2024c85b77f6f3d94c9a3c60b99a546dc3ff2f2ee8ec2182bf74ff03-stderr

dockerd 5483 root *145u FIFO 0,18 0t0 66100248 /run/docker/libcontainerd/76db8384ab95c2797f6f1b5e6bdc1b6633f117648508c14a676bed53ea437731/9f440b526129813ab7bad3a880d4aa0296e8e56d6ccc076dca4064919d141520-stdin (deleted)

...

和哪个容器相关还是和特定容器无关？

主要和docker-registry的那个容器相关（应该其他容器的个数少，不一定完全正常）

杀掉docker-registry这个容器，dockerd内存使用并未减少

[root@CX-DOCKER-BASE-1-10.139.105.202 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
76db8384ab95 00fc3bfe3cd7 "/sbin/init" 3 days ago Up 3 days 10.139.105.202:80-&gt;80/tcp, 10.139.105.202:3000-&gt;3000/tcp, 10.139.105.202:10051-&gt;10051/tcp zabbix-server
bf620dcc79e7 ed08e0e387b6 "/bin/bash" 10 days ago Up 10 days 0.0.0.0:2003-2004-&gt;2003-2004/tcp, 0.0.0.0:2023-2024-&gt;2023-2024/tcp, 0.0.0.0:8081-&gt;80/tcp graphite
[root@CX-DOCKER-BASE-1-10.139.105.202 ~]# lsof -p 5483|wc -l
39204

[root@CX-DOCKER-BASE-1-10.139.105.202 ~]# docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

76db8384ab95 00fc3bfe3cd7 "/sbin/init" 3 days ago Up 3 days 10.139.105.202:80->80/tcp, 10.139.105.202:3000->3000/tcp, 10.139.105.202:10051->10051/tcp zabbix-server

bf620dcc79e7 ed08e0e387b6 "/bin/bash" 10 days ago Up 10 days 0.0.0.0:2003-2004->2003-2004/tcp, 0.0.0.0:2023-2024->2023-2024/tcp, 0.0.0.0:8081->80/tcp graphite

[root@CX-DOCKER-BASE-1-10.139.105.202 ~]# lsof -p 5483|wc -l

39204

但是相应的文件是不存在的了：

dockerd 5483 root *317r FIFO 0,18 0t0 7272290 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/121c5aedbd12fa0a582df748b90db1699306b0fc263c104cab48182146037d74-stderr (deleted)
dockerd 5483 root *318r FIFO 0,18 0t0 7282242 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/4386ebbb7736f33ebbc74c7e6aef7d25726a3b81923cf46d86e3988224a7d84a-stderr (deleted)
dockerd 5483 root *319r FIFO 0,18 0t0 7275129 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/d6597c848c3cea0720ab58fa0091c365eb7a98b488547732a68ad08d6c0fe946-stderr (deleted)

dockerd 5483 root *317r FIFO 0,18 0t0 7272290 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/121c5aedbd12fa0a582df748b90db1699306b0fc263c104cab48182146037d74-stderr (deleted)

dockerd 5483 root *318r FIFO 0,18 0t0 7282242 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/4386ebbb7736f33ebbc74c7e6aef7d25726a3b81923cf46d86e3988224a7d84a-stderr (deleted)

dockerd 5483 root *319r FIFO 0,18 0t0 7275129 /run/docker/libcontainerd/07b2c171b26c4039f97a8c9f5d322b210db674202070ef0de0bcd320734dfb68/d6597c848c3cea0720ab58fa0091c365eb7a98b488547732a68ad08d6c0fe946-stderr (deleted)

然后，只好重启dockerd试试了：

重启dockerd，问题解决（还好我们的dockerd重启不会影响容器的正常工作）

问题的非最终原因（但是也进了一步）：

我们对所有的容器都是有监控的，基本手段是使用docker exec 在容器内执行命令，docker-registry这个容器比较特殊，没有我们要执行的命令，除了我们无法获取该容器信息外，没执行一次不存在的命令，dockerd就会在目录/run/docker/libcontainerd/ 下创建一个FIFO文件，并且始终打开着，不关闭（如果要执行的命令存在，则不会存在不关闭的情况）

详细测试结果如下：

对于一个返回值非零的命令，如果使用exec -i 选项，则不会残留打开的文件，如果不使用 exec -i 选项，会残留打开的文件（但是继续跟踪发现，该残留的时间不会太长）

对于一个不存在的命令，不管是否使用 -i 选项，总是会残留打开的文件；

解决办法：

为确保要执行的命令存在，可以使用如下方式：

该方式不但不会产生多余的未关闭文件描述符，而且可以执行一个命令序列，而直接docker exec -it cmd 只能执行一条命令

参考资料： https://github.com/docker/docker/issues/22095