PHP – PHPor 的Blog

现象

php 进程： THREAD_PHP_RD_\Service\Process\Deploy 不干活了，进程堆栈如下：

# pstack 157380
#0 0x00007f4396a440d8 in poll () from /lib64/libc.so.6
#1 0x0000000000745639 in php_sockop_read ()
#2 0x00007f438c90c601 in php_openssl_sockop_io () from /data1/php/lib/php/extensions/no-debug-non-zts-20121212/openssl.so
#3 0x000000000073aed4 in _php_stream_fill_read_buffer ()
#4 0x000000000073b073 in _php_stream_get_line ()
#5 0x00007f438c4d938f in redis_sock_read () from /data1/php/lib/php/extensions/no-debug-non-zts-20121212/redis.so
#6 0x00007f438c4db9dc in ps_write_redis () from /data1/php/lib/php/extensions/no-debug-non-zts-20121212/redis.so
#7 0x0000000000613090 in php_session_save_current_state ()
#8 0x00000000006143d6 in zm_deactivate_session ()
#9 0x0000000000787914 in zend_deactivate_modules ()
#10 0x0000000000722f45 in php_request_shutdown ()
#11 0x000000000083200f in do_cli ()
#12 0x0000000000833478 in main ()

# pstack 157380

#0 0x00007f4396a440d8 in poll () from /lib64/libc.so.6

#1 0x0000000000745639 in php_sockop_read ()

#2 0x00007f438c90c601 in php_openssl_sockop_io () from /data1/php/lib/php/extensions/no-debug-non-zts-20121212/openssl.so

#3 0x000000000073aed4 in _php_stream_fill_read_buffer ()

#4 0x000000000073b073 in _php_stream_get_line ()

#5 0x00007f438c4d938f in redis_sock_read () from /data1/php/lib/php/extensions/no-debug-non-zts-20121212/redis.so

#6 0x00007f438c4db9dc in ps_write_redis () from /data1/php/lib/php/extensions/no-debug-non-zts-20121212/redis.so

#7 0x0000000000613090 in php_session_save_current_state ()

#8 0x00000000006143d6 in zm_deactivate_session ()

#9 0x0000000000787914 in zend_deactivate_modules ()

#10 0x0000000000722f45 in php_request_shutdown ()

#11 0x000000000083200f in do_cli ()

#12 0x0000000000833478 in main ()

4个cli进程都阻塞在了这里；

大概意思为，PHP要回写session，先要一些其它交互，期望能读一行，但是，怎么也读不够一行，于是就死等

问题1：

如果没有什么意外的话，不应该让死等

问题2：

debug发现，这个stream的数据结构中，设置的超时时间为86400秒:

难怪一直阻塞住不干活。

解决办法：

添加超时时间的配置：

session.save_path = "tcp://127.0.0.1:6379?weight=1&timeout=3

1	session.save_path = "tcp://127.0.0.1:6379?weight=1&timeout=3

问题：

你问我gdb的时候是如何知道stream中如何获取超时时间的？如何知道stream->abstract 的真实数据类型的？

翻代码看到的：

注：还以为此事为偶发，进程刚刚工作几个小时就全部进入到了这个场景了,还好我解决了；其实，这并没有找到问题的根源，不找到原因的话，后续会有更加莫名其妙的的事情发生的

Redis 版本号

（然而现在该扩展已经开发到了4.x.y 了

原文链接：https://phpor.net/blog/post/9484

PHP 并发执行命令之multi_cmd

PHP No Responses »

2,978

5月 152018

代码功能：

同时执行多条命令，花费时间接近于最长那条命令的时间，而不是每条命令执行的时间和。

<?php

function multi_cmd($arr) {
	$arrResult = array();
	$arrFp = array();
	foreach($arr as  $k => $cmd) {
		$arrFp[$k] = popen($cmd, "r");
		if(!$arrFp[$k]) {
			$arrResult[$k] = array("stdout" => null, "meta"=>array("elapse"=>0));
			unset($arrFp[$k]);
			continue;
		}
		stream_set_blocking($arrFp[$k], false);
	}
	$start = microtime(1);
	$write = null;
	$expect = null;
	while(count($arrFp) > 0) {
		$arrRead = array_values($arrFp);
		$ret = stream_select($arrRead, $write, $expect, 0, 200000);
		if($ret === false) break;
		if($ret === 0) continue;
		foreach($arrFp as $k=>$fp) {
			if (!in_array($fp, $arrRead)) continue;
			while(!feof($fp)) {
				$r = fread($fp, 1024);
				if ($r !== "" && $r !== false) $arrResult[$k]["stdout"] .= $r;
				if (feof($fp) || $r === false) {
					unset($arrFp[$k]);
					$arrResult[$k]["meta"]["elapse"] = microtime(1) - $start;
					break;
				}
				if ($r === "") break;
			}
		}
	}
	return $arrResult;
}
$arr = array(
	"cmd1" => "sleep 1; eacho 1",
	"cmd2" => "sleep 2; echo 2",
	"cmd3" => "sleep 3; echo 3",
);
$arrResult = multi_cmd($arr);
print_r($arrResult);

<?php

function multi_cmd($arr) {

$arrResult = array();

$arrFp = array();

foreach($arr as $k => $cmd) {

$arrFp[$k] = popen($cmd, "r");

if(!$arrFp[$k]) {

$arrResult[$k] = array("stdout" => null, "meta"=>array("elapse"=>0));

unset($arrFp[$k]);

continue;

}

stream_set_blocking($arrFp[$k], false);

}

$start = microtime(1);

$write = null;

$expect = null;

while(count($arrFp) > 0) {

$arrRead = array_values($arrFp);

$ret = stream_select($arrRead, $write, $expect, 0, 200000);

if($ret === false) break;

if($ret === 0) continue;

foreach($arrFp as $k=>$fp) {

if (!in_array($fp, $arrRead)) continue;

while(!feof($fp)) {

$r = fread($fp, 1024);

if ($r !== "" && $r !== false) $arrResult[$k]["stdout"] .= $r;

if (feof($fp) || $r === false) {

unset($arrFp[$k]);

$arrResult[$k]["meta"]["elapse"] = microtime(1) - $start;

break;

}

if ($r === "") break;

}

return $arrResult;

}

$arr = array(

"cmd1" => "sleep 1; eacho 1",

"cmd2" => "sleep 2; echo 2",

"cmd3" => "sleep 3; echo 3",

);

$arrResult = multi_cmd($arr);

print_r($arrResult);

原文链接：https://phpor.net/blog/post/8328

php 获取数组中前N个值

PHP No Responses »

3,666

6月 072017

如下，获取数组中的前2个元素：

bash-4.1# php -r 'print_r(array_chunk(array('a'=>1,'b'=>2,'c'=>3),2,true)[0]);'
Array
(
    [a] => 1
    [b] => 2
)

bash-4.1# php -r 'print_r(array_chunk(array('a'=>1,'b'=>2,'c'=>3),2,true)[0]);'

Array

(

[a] => 1

[b] => 2

)

难道还有更方便的方法？

原文链接：https://phpor.net/blog/post/5307

PHP 协程示例

PHP No Responses »

2,722

4月 102017

在PHP没有协程的时候，我们也玩过并发多线程，但是，对于结果的实时处理就没那么方便了（尽管也可以实现），有了协程之后，代码看起来就会舒服许多，参考下面的multi_cmd.php

multi_cmd.php :

<?php
$arr_task = array(
		array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 1 && echo -n succ 1"'),
		array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 2 && echo -n succ 2"'),
		array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 3 && echo -n succ 3"'),
		);
$start = microtime(1);
$arr_result = multi_cmd($arr_task);
foreach($arr_result as $k=>$v) {
	echo "$k: {$v['cmd']}\n";
	echo "\tstdout: ".$v['output']['stdout']."\n";
	echo "\tstderr: ".$v['output']['stderr']."\n";
}
$end = microtime(1);
echo "time_used:". ($end - $start) ."\n";

function multi_cmd($arr_task) {
	$arr_result = array();
	foreach ($arr_task as $k => $arr) {
		$cmd = $arr['cmd'];
		$arr_result[$k] = array("cmd"=>$cmd, "result"=>0, "output"=>array("stdout"=>null, "stderr"=>null), "pipes"=>array());
		$descriptorspec[$k] = array(
				0 => array("pipe", "r"),  // stdin is a pipe that the child will read from
				1 => array("pipe", "w"),  // stdout is a pipe that the child will write to
				2 => array("pipe", "w") // stderr is a file to write to
				);


		$process[$k] = proc_open($cmd, $descriptorspec[$k], $arr_result[$k]["pipes"]);
		if (!is_resource($process[$k])) {
			$arr_result[$k] = 3;
			continue;
		}
		stream_set_blocking($arr_result[$k]["pipes"][1], 0);
		stream_set_blocking($arr_result[$k]["pipes"][2], 0);

	}
	while(!empty($arr_result)) {
		foreach($arr_result as $k=>&$v) {
			if ($v['result'] == 3) {
				yield $k=>$v;
				unset($arr_result[$k]);
				continue;
			}
			$stdout = $arr_result[$k]["pipes"][1];
			$stderr = $arr_result[$k]["pipes"][2];
			if ($v['result'] != 1) {
				$str = @fread($stdout, 1024);
				$arr_result[$k]["output"]["stdout"] .= $str;
				if (@feof($stdout)) {
					$v['result'] += 1;
					fclose($stdout);
				}
			}
			if ($v['result'] != 2) {
				$str = @fread($stderr, 1024);
				$arr_result[$k]["output"]["stderr"] .= $str;
				if (@feof($stderr)) {
					$v['result'] += 2;
					fclose($stderr);
				}
			}

		}
	}
}

<?php

$arr_task = array(

array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 1 && echo -n succ 1"'),

array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 2 && echo -n succ 2"'),

array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 3 && echo -n succ 3"'),

);

$start = microtime(1);

$arr_result = multi_cmd($arr_task);

foreach($arr_result as $k=>$v) {

echo "$k: {$v['cmd']}\n";

echo "\tstdout: ".$v['output']['stdout']."\n";

echo "\tstderr: ".$v['output']['stderr']."\n";

}

$end = microtime(1);

echo "time_used:". ($end - $start) ."\n";

function multi_cmd($arr_task) {

$arr_result = array();

foreach ($arr_task as $k => $arr) {

$cmd = $arr['cmd'];

$arr_result[$k] = array("cmd"=>$cmd, "result"=>0, "output"=>array("stdout"=>null, "stderr"=>null), "pipes"=>array());

$descriptorspec[$k] = array(

0 => array("pipe", "r"), // stdin is a pipe that the child will read from

1 => array("pipe", "w"), // stdout is a pipe that the child will write to

2 => array("pipe", "w") // stderr is a file to write to

);

$process[$k] = proc_open($cmd, $descriptorspec[$k], $arr_result[$k]["pipes"]);

if (!is_resource($process[$k])) {

$arr_result[$k] = 3;

continue;

}

stream_set_blocking($arr_result[$k]["pipes"][1], 0);

stream_set_blocking($arr_result[$k]["pipes"][2], 0);

}

while(!empty($arr_result)) {

foreach($arr_result as $k=>&$v) {

if ($v['result'] == 3) {

yield $k=>$v;

unset($arr_result[$k]);

continue;

}

$stdout = $arr_result[$k]["pipes"][1];

$stderr = $arr_result[$k]["pipes"][2];

if ($v['result'] != 1) {

$str = @fread($stdout, 1024);

$arr_result[$k]["output"]["stdout"] .= $str;

if (@feof($stdout)) {

$v['result'] += 1;

fclose($stdout);

}

if ($v['result'] != 2) {

$str = @fread($stderr, 1024);

$arr_result[$k]["output"]["stderr"] .= $str;

if (@feof($stderr)) {

$v['result'] += 2;

fclose($stderr);

}

我们见到的更多的可能是并发执行多个任务，每个任务都完成后（如： curl异步多请求）在一并处理结果，如果处理结果本身也是需要时间的话，就会比较浪费时间，如果能完成一个处理一个的结果，效果会好一些

上面脚本存在瑕疵：

1、为了避免某个流阻塞整个进程，上面使用了非阻塞；但是，后面的死循环却导致了大量cpu的占用，所以，考虑使用stream_select会更好一些

2、为了能控制并发数就更好了，并发太大也可能不是好事

改进的脚本如下：

<?php
$arr_task = array(
		array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 2 && echo -n succ 1"'),
		array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 2 && echo -n succ 2"'),
		array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 3 && echo -n succ 3"'),
		);
$start = microtime(1);
$arr_result = multi_cmd($arr_task, 2);
foreach($arr_result as $k=>$v) {
	echo "$k: {$v['cmd']}\n";
	echo "\tretcode: ".$v['retcode']."\n";
	echo "\tstdout: ".$v['output']['stdout']."\n";
	echo "\tstderr: ".$v['output']['stderr']."\n";
}
$end = microtime(1);
echo "time_used:". ($end - $start) ."\n";

function add_task(&$arr_task, &$arr_result, $concurent) {
	if (empty($arr_task)) return;
	foreach ($arr_task as $k => $arr) {
		if ($concurent != -1 && count($arr_result) >= $concurent ) return;
		echo "add task $k\n";
		$cmd = $arr['cmd'];
		unset($arr_task[$k]);
		$arr_result[$k] = array("cmd"=>$cmd, "result"=>0, "output"=>array("stdout"=>null, "stderr"=>null), "pipes"=>array());
		$arr_result[$k]['filedesc'] = array(
				0 => array("pipe", "r"),  // stdin is a pipe that the child will read from
				1 => array("pipe", "w"),  // stdout is a pipe that the child will write to
				2 => array("pipe", "w") // stderr is a file to write to
				);


		$arr_result[$k]['handle'] = proc_open($cmd, $arr_result[$k]['filedesc'], $arr_result[$k]["pipes"]);
		if (!is_resource($arr_result[$k]['handle'])) {
			$arr_result[$k] = 3;
			continue;
		}
		//stream_set_blocking($arr_result[$k]["pipes"][1], 0);
		//stream_set_blocking($arr_result[$k]["pipes"][2], 0);
	}
}
function multi_cmd($arr_task, $concurent = -1) {
	$arr_result = array();
	add_task($arr_task, $arr_result, $concurent);
	while(!empty($arr_result)) {
		$arr_read_fds = array();
		foreach($arr_result as $k=>&$v) {
			if ($v['result'] == 3) {
				unset($arr_result[$k]);
				$v['retcode'] = @proc_close($v['handle']);
				add_task($arr_task, $arr_result, $concurent);
				yield $k=>$v;
				continue;
			}
			if (!($v['result'] & 1)) {
				$arr_read_fds[] = $v["pipes"][1];
			}
			if (!($v['result'] & 2)) {
				$arr_read_fds[] = $v["pipes"][2];
			}
		}
		if (empty($arr_read_fds)) break;
		$arr_expect = array();
		$arr_write_fds = $arr_expect_fds = array();
		$arr_fds = $arr_read_fds;
		while( 0 === stream_select($arr_fds, $arr_write_fds, $arr_expect_fds, 0, 500000)) {
			$arr_fds = $arr_read_fds;
		}
		foreach($arr_result as $k=>&$v) {
			$stdout = $arr_result[$k]["pipes"][1];
			$stderr = $arr_result[$k]["pipes"][2];
			if (!($v['result'] & 1) && in_array($stdout, $arr_fds)) {
				$str = @fread($stdout, 1024);
				$arr_result[$k]["output"]["stdout"] .= $str;
				if (@feof($stdout)) {
					$v['result'] |= 1;
					@fclose($stdout);
				}
			}
			if (!($v['result'] & 2) && in_array($stderr, $arr_fds)) {
				$str = @fread($stderr, 1024);
				$arr_result[$k]["output"]["stderr"] .= $str;
				if (@feof($stderr)) {
					$v['result'] |= 2;
					@fclose($stderr);
				}
			}

		}
	}
}

<?php

$arr_task = array(

array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 2 && echo -n succ 1"'),

array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 2 && echo -n succ 2"'),

array('cmd'=>'ssh -i /home/phpor/.ssh/id_rsa phpor@localhost "sleep 3 && echo -n succ 3"'),

);

$start = microtime(1);

$arr_result = multi_cmd($arr_task, 2);

foreach($arr_result as $k=>$v) {

echo "$k: {$v['cmd']}\n";

echo "\tretcode: ".$v['retcode']."\n";

echo "\tstdout: ".$v['output']['stdout']."\n";

echo "\tstderr: ".$v['output']['stderr']."\n";

}

$end = microtime(1);

echo "time_used:". ($end - $start) ."\n";

function add_task(&$arr_task, &$arr_result, $concurent) {

if (empty($arr_task)) return;

foreach ($arr_task as $k => $arr) {

if ($concurent != -1 && count($arr_result) >= $concurent ) return;

echo "add task $k\n";

$cmd = $arr['cmd'];

unset($arr_task[$k]);

$arr_result[$k] = array("cmd"=>$cmd, "result"=>0, "output"=>array("stdout"=>null, "stderr"=>null), "pipes"=>array());

$arr_result[$k]['filedesc'] = array(

0 => array("pipe", "r"), // stdin is a pipe that the child will read from

1 => array("pipe", "w"), // stdout is a pipe that the child will write to

2 => array("pipe", "w") // stderr is a file to write to

);

$arr_result[$k]['handle'] = proc_open($cmd, $arr_result[$k]['filedesc'], $arr_result[$k]["pipes"]);

if (!is_resource($arr_result[$k]['handle'])) {

$arr_result[$k] = 3;

continue;

}

//stream_set_blocking($arr_result[$k]["pipes"][1], 0);

//stream_set_blocking($arr_result[$k]["pipes"][2], 0);

}

function multi_cmd($arr_task, $concurent = -1) {

$arr_result = array();

add_task($arr_task, $arr_result, $concurent);

while(!empty($arr_result)) {

$arr_read_fds = array();

foreach($arr_result as $k=>&$v) {

if ($v['result'] == 3) {

unset($arr_result[$k]);

$v['retcode'] = @proc_close($v['handle']);

add_task($arr_task, $arr_result, $concurent);

yield $k=>$v;

continue;

}

if (!($v['result'] & 1)) {

$arr_read_fds[] = $v["pipes"][1];

}

if (!($v['result'] & 2)) {

$arr_read_fds[] = $v["pipes"][2];

}

if (empty($arr_read_fds)) break;

$arr_expect = array();

$arr_write_fds = $arr_expect_fds = array();

$arr_fds = $arr_read_fds;

while( 0 === stream_select($arr_fds, $arr_write_fds, $arr_expect_fds, 0, 500000)) {

$arr_fds = $arr_read_fds;

}

foreach($arr_result as $k=>&$v) {

$stdout = $arr_result[$k]["pipes"][1];

$stderr = $arr_result[$k]["pipes"][2];

if (!($v['result'] & 1) && in_array($stdout, $arr_fds)) {

$str = @fread($stdout, 1024);

$arr_result[$k]["output"]["stdout"] .= $str;

if (@feof($stdout)) {

$v['result'] |= 1;

@fclose($stdout);

}

if (!($v['result'] & 2) && in_array($stderr, $arr_fds)) {

$str = @fread($stderr, 1024);

$arr_result[$k]["output"]["stderr"] .= $str;

if (@feof($stderr)) {

$v['result'] |= 2;

@fclose($stderr);

}

注意：

在使用stream_select 的时候，是否阻塞也就不重要了? 也不完全，加入其中一个比较靠前的任务执行时间很长，就算第一批的大部分任务执行时间都很短，也会因为fread而阻塞在执行时间长的任务身上而无法快速完成其它任务，进而加入更多的任务；所以，这里可能的办法有：

办法一：给stderr和stdout添加read timeout限制，但是测试发现，stream_set_timeout 给这两个流添加超时时间是失败的，stream_set_timeout 返回false
办法二：依然使用非阻塞模式, 依然不行，尽管stream_set_blocking(stdout, false) 返回true，也是无效的
注意：

也就是说仅有的两个函数都是不能用的，也就是说，不是函数不行，而是，这事儿就不可行

原文链接：https://phpor.net/blog/post/4972

PHP 中执行命令的几种方式比较

PHP No Responses »

3,646

4月 042017

system/exec 函数:

这两个函数会利用/bin/sh 指定的shell来执行指定的命令，所以，指定的命令实际上不仅可以包含可以执行的命令和参数，还可以是对应shell的内置命令以及shell支持的控制结构。

缺点：无法区分标准输出与标准错误

注意：这两个函数执行的外部命令默认继承了php进程的标准输入、标准输出和标准错误，你可以通过返回值得到进程的标准输出，但是标准错误却悄悄地流进了php进程定义的标准错误输出里面去了；更加隐晦的是，对于php-fpm进程来讲，该外部进程也默认listen（继承来的）了php-fpm监听的端口，但是肯定不会去处理php-fpm请求，一般情况下不会有问题，特殊情况下回让你莫名其妙

pcntl_exec 函数：

该函数会取代当前执行的进程空间，而且是不会再回到当前进程空间，可能你很少会用到该函数，但是，当你确实需要该函数的时候，却又是没有其他函数可以替代的，如：

# php -d error_log="" -r 'pcntl_exec("/bin/sleep", array(1));echo 2;'

1	# php -d error_log="" -r 'pcntl_exec("/bin/sleep", array(1));echo 2;'

echo 2 是不可能被执行到的

注意： pcntl_exec不同于其他函数，并不会使用shell来执行指定的命令，而且指定的命令需要是要执行的可执行文件的全路径

proc_open 函数：

这个是我最喜欢的函数：

可以通过proc_close得到外部进程的返回值
可以定义外部进程的标准输入、标准输出、标准错误，并且可以区分外部进程的标准输出和标准错误
一定程度上还可以实现并行执行多个外部命令

proc_open 示例：

<?php
$descriptorspec = array(
   0 => array("pipe", "r"),  // stdin is a pipe that the child will read from
   1 => array("pipe", "w"),  // stdout is a pipe that the child will write to
   2 => array("pipe", "w") // stderr is a file to write to
);

$cwd = '/tmp';
$env = array('some_option' => 'aeiou');

$process = proc_open('ssh -i /home/phpor/.ssh/id_rsa phpor@localhost ', $descriptorspec, $pipes, $cwd, $env);
if (is_resource($process)) {
    // $pipes now looks like this:
    // 0 => writeable handle connected to child stdin
    // 1 => readable handle connected to child stdout
    // Any error output will be appended to /tmp/error-output.txt

    fwrite($pipes[0], $argv[1]);
    fclose($pipes[0]);

    echo stream_get_contents($pipes[1]);
    fclose($pipes[1]);

    echo stream_get_contents($pipes[2]);
    fclose($pipes[2]);

    // It is important that you close any pipes before calling
    // proc_close in order to avoid a deadlock
    $return_value = proc_close($process);

    echo "command returned $return_value\n";
}

<?php

$descriptorspec = array(

0 => array("pipe", "r"), // stdin is a pipe that the child will read from

1 => array("pipe", "w"), // stdout is a pipe that the child will write to

2 => array("pipe", "w") // stderr is a file to write to

);

$cwd = '/tmp';

$env = array('some_option' => 'aeiou');

$process = proc_open('ssh -i /home/phpor/.ssh/id_rsa phpor@localhost ', $descriptorspec, $pipes, $cwd, $env);

if (is_resource($process)) {

// $pipes now looks like this:

// 0 => writeable handle connected to child stdin

// 1 => readable handle connected to child stdout

// Any error output will be appended to /tmp/error-output.txt

fwrite($pipes[0], $argv[1]);

fclose($pipes[0]);

echo stream_get_contents($pipes[1]);

fclose($pipes[1]);

echo stream_get_contents($pipes[2]);

fclose($pipes[2]);

// It is important that you close any pipes before calling

// proc_close in order to avoid a deadlock

$return_value = proc_close($process);

echo "command returned $return_value\n";

}

原文链接：https://phpor.net/blog/post/4899

关于php-fpm reload的优雅实现

PHP No Responses »

3,511

12月 082016

我们知道，nginx的reload是不会影响服务的，php-fpm也有reload 功能，而且确实不是restart，但是却是影响服务的，下面给出一种改进方式，是的php-fpm的reload不影响服务

修改源代码：

重写init脚本：

#! /bin/sh

### BEGIN INIT INFO
# Provides:          php-fpm
# Required-Start:    $remote_fs $network
# Required-Stop:     $remote_fs $network
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: starts php-fpm
# Description:       starts the PHP FastCGI Process Manager daemon
### END INIT INFO

php_fpm_BIN=/usr/sbin/php-fpm
php_fpm_CONF=/etc/php/php-fpm.conf
php_fpm_PID=/var/run/php-fpm.pid
tmp_pid=/var/run/php-fpm.tmp.pid


php_opts="--fpm-config $php_fpm_CONF --pid $tmp_pid"


wait_for_pid () {
	local pid=$1
	while kill -0 $pid >/dev/null 2>&1 ; do
		sleep 1;
	done
}

case "$1" in
	start)
		echo -n "Starting php-fpm "

		$php_fpm_BIN --daemonize $php_opts

		if [ "$?" != 0 ] ; then
			echo " failed"
			exit 1
		fi
		cat $tmp_pid >$php_fpm_PID
		echo " done"
	;;

	stop)
		echo -n "Gracefully shutting down php-fpm "

		if [ ! -r $php_fpm_PID ] ; then
			echo "warning, no pid file found - php-fpm is not running ?"
			exit 1
		fi
		pid=$(cat $php_fpm_PID)
		kill -QUIT $pid

		wait_for_pid $pid

		echo " done"
	;;

	status)
		if [ ! -r $php_fpm_PID ] ; then
			echo "php-fpm is stopped"
			exit 0
		fi

		PID=`cat $php_fpm_PID`
		if ps -p $PID | grep -q $PID; then
			echo "php-fpm (pid $PID) is running..."
		else
			echo "php-fpm dead but pid file exists"
		fi
	;;

	force-quit)
		echo -n "Terminating php-fpm "

		if [ ! -r $php_fpm_PID ] ; then
			echo "warning, no pid file found - php-fpm is not running ?"
			exit 1
		fi
		pid=$(cat $php_fpm_PID)
		kill -TERM $pid

		wait_for_pid $pid

		echo " done"
	;;

	restart)
		$0 stop
		$0 start
	;;

	reload)

		echo -n "Reload service php-fpm "

		if [ ! -r $php_fpm_PID ] ; then
			echo "warning, no pid file found - php-fpm is not running ?"
			exit 1
		fi
		pid=$(cat $php_fpm_PID)
		error=$($0 start >/dev/null)
		[[ "$error" != "" ]] && echo $error && exit 1

		kill -QUIT $pid
		# 这里等待该pid似乎也不太好
		echo " done"
	;;

	configtest)
		$php_fpm_BIN -t
	;;

	*)
		echo "Usage: $0 {start|stop|force-quit|restart|reload|status|configtest}"
		exit 1
	;;

esac

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

#! /bin/sh

### BEGIN INIT INFO

# Provides: php-fpm

# Required-Start: $remote_fs $network

# Required-Stop: $remote_fs $network

# Default-Start: 2 3 4 5

# Default-Stop: 0 1 6

# Short-Description: starts php-fpm

# Description: starts the PHP FastCGI Process Manager daemon

### END INIT INFO

php_fpm_BIN=/usr/sbin/php-fpm

php_fpm_CONF=/etc/php/php-fpm.conf

php_fpm_PID=/var/run/php-fpm.pid

tmp_pid=/var/run/php-fpm.tmp.pid

php_opts="--fpm-config $php_fpm_CONF --pid $tmp_pid"

wait_for_pid () {

local pid=$1

while kill -0 $pid >/dev/null 2>&1 ; do

sleep 1;

done

}

case "$1" in

start)

echo -n "Starting php-fpm "

$php_fpm_BIN --daemonize $php_opts

if [ "$?" != 0 ] ; then

echo " failed"

exit 1

cat $tmp_pid >$php_fpm_PID

echo " done"

;;

stop)

echo -n "Gracefully shutting down php-fpm "

if [ ! -r $php_fpm_PID ] ; then

echo "warning, no pid file found - php-fpm is not running ?"

exit 1

pid=$(cat $php_fpm_PID)

kill -QUIT $pid

wait_for_pid $pid

echo " done"

;;

status)

if [ ! -r $php_fpm_PID ] ; then

echo "php-fpm is stopped"

exit 0

PID=`cat $php_fpm_PID`

if ps -p $PID | grep -q $PID; then

echo "php-fpm (pid $PID) is running..."

else

echo "php-fpm dead but pid file exists"

;;

force-quit)

echo -n "Terminating php-fpm "

if [ ! -r $php_fpm_PID ] ; then

echo "warning, no pid file found - php-fpm is not running ?"

exit 1

pid=$(cat $php_fpm_PID)

kill -TERM $pid

wait_for_pid $pid

echo " done"

;;

restart)

$0 stop

$0 start

;;

reload)

echo -n "Reload service php-fpm "

if [ ! -r $php_fpm_PID ] ; then

echo "warning, no pid file found - php-fpm is not running ?"

exit 1

pid=$(cat $php_fpm_PID)

error=$($0 start >/dev/null)

[[ "$error" != "" ]] && echo $error && exit 1

kill -QUIT $pid

# 这里等待该pid似乎也不太好

echo " done"

;;

configtest)

$php_fpm_BIN -t

;;

echo "Usage: $0 {start|stop|force-quit|restart|reload|status|configtest}"

exit 1

;;

esac

注意：

该功能要求linux内核版本较高，需要支持socket的SO_REUSEPORT 特性，我的3.10的内核已经支持了
php-fpm 的pid文件是php-fpm进程来维护的，同时启动多个php-fpm不太方便，所以需要玩一些手段；虽然不指定pid文件参数也可以，但是我不知道如何才能方便地拿到php-fpm的pid信息，所以还是指定了pid参数

原文链接：https://phpor.net/blog/post/4401

关于PHP中的长连接

PHP No Responses »

2,478

11月 292016

长连接（也叫持久连接）是啥？

对于PHP来讲，如果是运行在web模式，每次请求完成，php会回收所有需要的申请的资源，但是也可以申请一些特殊的资源，php可以不回收，比如：长连接。

优点：长连接省却了每次连接的麻烦，也有效减少了timewait的数量

长连接真的好吗？

PHP中没有提供关闭（销毁）长连接的方法，当长连接出现意外时，将无所适从，更常见的是请求超时，都很不方便处理
同一个服务只能存在一个连接，如果想非阻塞地并发请求同一个服务（相同的目标ip、port），做不到！第二次的pfsockopen得到的是第一次pfsockopen的那个连接，php不会标识一个长连接是否在使用中

鉴于上面两点，感觉长连接真的好鸡肋

原文链接：https://phpor.net/blog/post/4391

PHP5 升级到PHP7时curl注意事项

PHP No Responses »

4,052

11月 092016

（从大量的CLOSE_WAIT发现的问题）

脚本：

<?php
$url = $argv[1];
$mm = array();
function curl($url) {
	global $mm;
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	#curl_setopt($ch, CURLOPT_HTTPHEADER, array("Connection: close"));
	curl_exec($ch);
	$mm[] = $ch;
	curl_close($ch);
}
for($i = 0; $i < 1000; $i ++) {
	curl($url);
}

<?php

$url = $argv[1];

$mm = array();

function curl($url) {

global $mm;

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

#curl_setopt($ch, CURLOPT_HTTPHEADER, array("Connection: close"));

curl_exec($ch);

$mm[] = $ch;

curl_close($ch);

}

for($i = 0; $i < 1000; $i ++) {

curl($url);

}

对于curl来说：

如果请求头中含有 Connection: close 则，执行完请求之后，curl会主动关闭连接，即使不主动curl_close() 也没有关系
如果请求头中没有Connection: close，则：
1. 如果curl句柄被销毁了，则连接自动关闭
2. 如果句柄没有被销毁（如：被保存到了全局（或其他静态）变量中），则：
  1. PHP5中，curl_close() 可以关闭连接
  2. PHP7中，curl_close() 不会关闭连接（或许他猜测你可能还会用到），如果你不小心把句柄保存起来了，那么会有什么问题呢? 问题：
    服务器端等待足够长时间后要关闭连接，而客户端却不做任何处理，导致连接处于CLOSE_WAIT状态，如果足够多，会导致local port被用完。
    不过，这个问题看似不好解决，也比PHP5中好处理，PHP5中如果调用了curl_close，而且还把curl句柄保存了起来，则可能会出现保存了大量的句柄而自己却不知道（就是所谓的内存泄漏）

原文链接：https://phpor.net/blog/post/4326

关于php的max_execution_time

PHP No Responses »

4,870

9月 032016

缘起：

一个php-fpm的请求执行时间会比较长，总是执行不完就中止了；查看php错误日志，显示执行时长超过了60s。

$ php -i |grep max_execution_time
$ max_execution_time => 0 => 0

1 2	$ php -i \|grep max_execution_time $ max_execution_time => 0 => 0

为什么呢？

参考php官方文档：http://php.net/manual/en/info.configuration.php#ini.max-execution-time

max_execution_time integer

This sets the maximum time in seconds a script is allowed to run before it is terminated by the parser. This helps prevent poorly written scripts from tying up the server. The default setting is 30. When running PHP from the command line the default setting is 0.

The maximum execution time is not affected by system calls, stream operations etc. Please see the set_time_limit() function for more details.

You can not change this setting with ini_set() when running in safe mode. The only workaround is to turn off safe mode or by changing the time limit in the php.ini.

Your web server can have other timeout configurations that may also interrupt PHP execution. Apache has a Timeout directive and IIS has a CGI timeout function. Both default to 300 seconds. See your web server documentation for specific details.

说明：

命令行执行php没有执行时长限制，尽管显式在php.ini中配置、或者ini_set(“max_execution_time”, n)、或者set_time_limit(n) 都是没用的；
尽管使用ini_set(…) 、set_time_limit(..) 后，也能通过ini_get(..)发现设置的值确实发生变化了，对于命令行也是没有作用的
命令行php -i 查看到的 max_execution_time 总是0
所以：命令行程序对于PHP执行时长限制的担心都是多余的,cli 模式下max_execution_time被硬编码为0了
max_execution_time 的默认值是30s

关于set_time_limit: http://php.net/manual/en/function.set-time-limit.php

set_time_limit(n) 会重置时间计数器，就是说是从该函数调用的时候计数n的
php-fpm的脚本中执行set_time_limit(n)、或者ini_set(“max_execution_time”, n) 是无效的
虽然这样更加安全，但是不符合定义： http://php.net/manual/en/info.configuration.php ；这里
有说明max_execution_time的可修改限制为PHP_INI_ALL，就是说任何条件下都可以随时修改： http://php.net/manual/en/configuration.changes.modes.php

结论：

命令行程序对于PHP执行时长限制的担心都是多余的
php-fpm环境下，试图在脚本中修改max_execution_time是没有用的
所以，max_execution_time 一般在php.ini 中定义

原文链接：https://phpor.net/blog/post/3988

PHP编译问题

PHP No Responses »

2,464

8月 032016

php 的configure选项中启用模块时，有些是–with-extname ，有些是 –enable-extname ；有何区别？

–enable-extname 用于模块不需要任何依赖，可以直接开启
–with-extname 用于模块有第三方依赖，需要先安装依赖
其它就没有差别了
参考： http://stackoverflow.com/questions/1255055/compiling-php-with-modules-vs-using-shared-modules

如何将尽可能多的模块编译为动态扩展？

如何编译所有模块：

./configure –enable-all=shared

如何编译除去指定模块外的所有模块：（下面去掉了两个不太熟悉的模块）

./configure –enable-all=shared –with-enchant=no –with-gmp=no

如何在with模块的时候指定依赖的安装路径：

编译选项示例：

./configure --localstatedir=/var --with-config-file-path=/etc/php.ini --with-config-file-scan-dir=/etc/php.d --bindir=/usr/bin --sbindir=/usr/sbin --enable-fpm  --enable-mbstring=shared --enable-opcache=shared --enable-soap=shared --enable-mysqlnd=shared --with-gd=shared --enable-json=shared --enable-posix=shared --with-iconv=shared --enable-phpdbg --enable-sockets=shared && make

./configure --localstatedir=/var --with-config-file-path=/etc/php.ini --with-config-file-scan-dir=/etc/php.d --bindir=/usr/bin --sbindir=/usr/sbin --enable-fpm --enable-mbstring=shared --enable-opcache=shared --enable-soap=shared --enable-mysqlnd=shared --with-gd=shared --enable-json=shared --enable-posix=shared --with-iconv=shared --enable-phpdbg --enable-sockets=shared && make

如何将php.ini php-fpm.conf php.d php-fpm.d 都放到/etc/php 目录下？如下：

编译选项：

–sysconfdir=/etc/php : 指示 php-fpm.conf php-fpm.d 安装到 /etc/php 下

–with-config-file-path=/etc/php ：指示 php.ini 安装到 /etc/php 下

–with-config-file-scan-dir=/etc/php/php.d ：指示 php.d 安装到 /etc/php 下

php.ini 的安装位置和 –sysconfdir没有关系，默认 ${prefix}/lib

php-fpm.conf 的位置和–with-config-file-path 没有关系，默认 ${prefix}/etc 下

原文链接：https://phpor.net/blog/post/3866

Older Entries