Bash – PHPor 的Blog

bash 之信号处理

8,153

9月 192018

缘起：

docker stop 时往往会比较慢，起原因多半是docker 容器的init进程没有正确处理信号所致；docker stop的行为为：先发送一个SIGTERM(15) 信号给init进程，如果一段时间（默认10s）后，依然没有退出，就直接发送 -9 信号，常常我们会登上10s，最终，进程的退出依然是仓促的；所以，实现一个好的init进程非常重要。

想用bash写一个docker 的init进程，当收到SIGTERM信号时，通知容器中的其他进程退出，其他进程退出后自己再退出，这样的话，其他进程可以有时间优雅退出，而且stop操作还可能很快完成。

版本1：

#!/bin/bash
trap stop 15
PATH=$PATH:/usr/sbin/:/usr/bin
function stop() {
    while :; do
        local pid=$(pidof cmd)
        [[ "$pid" == "" ]] && break
        kill $pid 2>/dev/null
        sleep 1
    done
    exit 0
}


cmd

#!/bin/bash

trap stop 15

PATH=$PATH:/usr/sbin/:/usr/bin

function stop() {

while :; do

local pid=$(pidof cmd)

[[ "$pid" == "" ]] && break

kill $pid 2>/dev/null

sleep 1

done

exit 0

}

cmd

实际并不凑效；原因： bash 在执行外部命令的时候，是不处理信号的

改进：

#!/bin/bash

trap stop 15
PATH=$PATH:/usr/sbin/:/usr/bin
function stop() {
    while :; do
        local pid=$(pidof cmd)
        [[ "$pid" == "" ]] && break
        kill $pid 2>/dev/null
        sleep 1
    done
}

nohup cmd &

while :; do
    sleep 10
done

#!/bin/bash

trap stop 15

PATH=$PATH:/usr/sbin/:/usr/bin

function stop() {

while :; do

local pid=$(pidof cmd)

[[ "$pid" == "" ]] && break

kill $pid 2>/dev/null

sleep 1

done

}

nohup cmd &

while :; do

sleep 10

done

不足：当有信号到时，依然要等sleep 睡足才能处理信号，如果每次sleep 时间足够短，则总是启动sleep进程也非常不优雅，本身总是看到一个sleep进程已经够闹心的了

改进：

#!/bin/bash

trap stop 15
PATH=$PATH:/usr/sbin/:/usr/bin
function stop() {
    while :; do
        local pid=$(pidof cmd)
        [[ "$pid" == "" ]] && break
        kill $pid 2>/dev/null
        sleep 1
    done
}

nohup cmd &

while :; do
    read line
done

#!/bin/bash

trap stop 15

PATH=$PATH:/usr/sbin/:/usr/bin

function stop() {

while :; do

local pid=$(pidof cmd)

[[ "$pid" == "" ]] && break

kill $pid 2>/dev/null

sleep 1

done

}

nohup cmd &

while :; do

read line

done

优点：

看不到sleep函数了
read line 并不消耗多少资源
虽然 read 函数是阻塞的，但是却不影响bash实时处理信号

缺点：

创建容器时需要 -it 选项，因为bash标准输入需要是正常的，才能是的read不会失败而正常阻塞，否则，read会一直失败，导致死循环占用100% CPU ; 安全一些的做法是，发现read失败直接退出

测试脚本：

#!/bin/bash
trap signal 15

function signal() {
    echo handle signal
}


while :; do
    read line
    echo $line
    sleep 10
done

#!/bin/bash

trap signal 15

function signal() {

echo handle signal

}

while :; do

read line

echo $line

sleep 10

done

执行该脚本，然后发送信号15给bash进程，发现：

当执行到sleep 10 的时候，不能实时处理信号
当阻塞在read时，可以实时处理信号

原文链接：https://phpor.net/blog/post/9809

bash 之变量声明周期

Bash No Responses »

3,550

7月 272018

有些时候，我们通过如下方式执行命令：

var=1 cmd.sh

1	var=1 cmd.sh

这样，cmd.sh 中就能看到变量var ；但是千万别写成：

var=1 cmd.sh $var

1	var=1 cmd.sh $var

这里的 $var 绝对不是1；因为$var 是在var=1被解释之前解释的

如下：

原文链接：https://phpor.net/blog/post/9344

bash 之变量与函数

Bash 1 Response »

3,820

7月 172018

bash中有个export，可以导出变量给子进程使用；但是函数没法导出给子进程使用，如下：

原文链接：https://phpor.net/blog/post/9188

tcp server in bash

Bash No Responses »

2,639

7月 172018

我想通过nc+bash创建一个tcp server， nc负责收发数据，bash负责处理数据，如何将nc和bash结合起来呢？

思路1：通过nc的-c选项实现

思路2：只要能想办法将nc的标准输入和标准输入重定向给bash脚本就行了；我们常见的管道、进程替换都只能同时做重定向标准输入或标准输出的其中一件事情；如：

nc -l -k -U /tmp/a.sock | while :; do read cmd echo $cmd done

1	nc -l -k -U /tmp/a.sock \| while :; do read cmd echo $cmd done

或：

while :; do read cmd echo $cmd done < <(nc -l -k -U /tmp/a.sock)

1	while :; do read cmd echo $cmd done < <(nc -l -k -U /tmp/a.sock)

这两个都是单向的

思路3：我们通常使用exec来做重定向，似乎也比较麻烦

思路4： bash中提供了一个coproc关键字，似乎用在这里再合适不过了

方法1：

handler.sh

    while :; do
        read cmd
        echo $cmd
    done

while :; do

read cmd

echo $cmd

done

server.sh

nc -l -k -U /tmp/a.sock -c handler.sh

1	nc -l -k -U /tmp/a.sock -c handler.sh

这里利用了nc 的-c选项；

注意：

这里的handler.sh 必须有可执行权限
handler.sh 必须在$PATH 里面，nc不参考当前目录
为了规避这两个问题，可以这样：

nc -l -k -U /tmp/a.sock -c 'bash handler.sh'

1

nc -l -k -U /tmp/a.sock -c 'bash handler.sh'
这种情况下，对于每一个连接都会启动一个-c指定的进程来处理，类似于cgi的模式；如果client 离开的太快，handler.sh echo时会遇到pipe broken的错误，需要处理一下
需要仔细处理read ，避免client离开时，handler.sh还在无休止地循环，而且还占用 100% 的cpu

这里是通过两个文件来实现的，对于脚本程序来讲，如果一个文件能实现会方便很多；那么 nc 的 -c 选项能否接受一个bash 的function呢？直接写function显然是不行的，我们知道，环境变量是可以继承的，但是function 是不行的（参考： https://phpor.net/blog/post/9188），而且我们也不能把function赋值给一个变量；或者可以这么实现：

if [[ $1 == "serve" ]]; then
    while :; do
        read cmd
        echo $cmd
    done
    exit
fi

nc -l -k -U /tmp/a.sock -c "$0 serve"

if [[ $1 == "serve" ]]; then

while :; do

read cmd

echo $cmd

done

exit

nc -l -k -U /tmp/a.sock -c "$0 serve"

但是，显得好不优雅; 而且，最大的问题就是，一不小心就可能成为fork炸弹💣

方法2：server.sh

#!/bin/bash
coproc handler {
    while :; do
        read cmd
        echo $cmd
    done
}
[ -e /tmp/a.sock ] && rm -fr /tmp/a.sock

nc -l -k -U /tmp/a.sock <&${handler[0]} >&${handler[1]}

#!/bin/bash

coproc handler {

while :; do

read cmd

echo $cmd

done

}

[ -e /tmp/a.sock ] && rm -fr /tmp/a.sock

nc -l -k -U /tmp/a.sock <&${handler[0]} >&${handler[1]}

注意：

方法二的原理和方法一是不同的；这里的handler是一个常驻进程，不需要每次请求都fork一个handler，似乎更好一些，但是，handler无法区分不同的请求，client A可能接受到client B的请求的响应

问题：

这个server可以服务很多请求，但是无法实现服务完一个请求后主动断开
如何nc先退出了，handler如何判断

参考：

总结：

bash写个简版的东西还挺方便，写完善就不好弄了
方法一似乎更加合理一些
千万别用bash来实现tcpserver

原文链接：https://phpor.net/blog/post/9186

bash 之 printf

Bash No Responses »

3,725

7月 162018

场景：

printf "%s\n" $(</proc/$pid/cmline)

1	printf "%s\n" $(</proc/$pid/cmline)

对于多个部分的命令行会打印到多行，如下：

其实，printf就是这个表现的，如下：

也就是说，最后一个 %s 是不能吃掉多余的参数的，相反, printf 是如下方式消费参数的：

原文链接：https://phpor.net/blog/post/9177

bash 获取所有pid

Bash No Responses »

3,842

7月 162018

for d in /proc/*;do [[ $d =~ /proc/[0-9]+ ]] && echo ${d#/proc/};done

1	for d in /proc/*;do [[ $d =~ /proc/[0-9]+ ]] && echo ${d#/proc/};done

ls 可以list /proc 目录下所有的pid，但是线程id是list不到的，如：

我们 ls /proc 的时候，只能看到 24 这个目录，看不到25 26 27 这些目录，那么线程的信息如何访问到呢？

实际上，虽然我们不能ls /proc 看到线程，但是，如果有了线程id，还是可以通过 /proc/$thread_id 来访问的，如：

原文链接：https://phpor.net/blog/post/9175

count words in bash without wc

Bash No Responses »

2,375

7月 162018

如何计算字符串中单词的数量，但是不使用wc？ eg：

str="apple orange pear"
arr=( $str )
echo ${#arr[@]}

str="apple orange pear"

arr=( $str )

echo ${#arr[@]}

如果字符串的内容在文件中，则可以直接 read -a arr 来读入到指定数组中，然后再获取数组的长度即可

参考：

https://stackoverflow.com/questions/15108229/how-to-count-number-of-words-from-string-using-shell

原文链接：https://phpor.net/blog/post/9167

cfree ( free in container)

Bash No Responses »

3,057

7月 162018

#!/bin/bash
CGROUP_DIR=/sys/fs/cgroup/memory
UNLIMITTED=9223372036854771712

read mem_total <$CGROUP_DIR/memory.limit_in_bytes
read mem_used <$CGROUP_DIR/memory.usage_in_bytes
mem_free=$((mem_total - mem_used))

read mem_swap_total <$CGROUP_DIR/memory.memsw.limit_in_bytes
read mem_swap_used <$CGROUP_DIR/memory.memsw.usage_in_bytes
swap_total=$((mem_swap_total - mem_total))
swap_used=$((mem_swap_used - mem_used))
swap_free=$((swap_total - swap_used))

if [[ $mem_total = "9223372036854771712" ]];then
	/usr/bin/free -h && exit
fi

printf "%20s%20s%20s\n" total used free
printf "Mem:%16s%20s%20s\n"  $((mem_total/1024/1024))M $((mem_used/1024/1024))M $((mem_free/1024/1024))M
printf "Swap:%15s%20s%20s\n"  $((swap_total/1024/1024))M $((swap_used/1024/1024))M $((swap_free/1024/1024))M

#!/bin/bash

CGROUP_DIR=/sys/fs/cgroup/memory

UNLIMITTED=9223372036854771712

read mem_total <$CGROUP_DIR/memory.limit_in_bytes

read mem_used <$CGROUP_DIR/memory.usage_in_bytes

mem_free=$((mem_total - mem_used))

read mem_swap_total <$CGROUP_DIR/memory.memsw.limit_in_bytes

read mem_swap_used <$CGROUP_DIR/memory.memsw.usage_in_bytes

swap_total=$((mem_swap_total - mem_total))

swap_used=$((mem_swap_used - mem_used))

swap_free=$((swap_total - swap_used))

if [[ $mem_total = "9223372036854771712" ]];then

/usr/bin/free -h && exit

printf "%20s%20s%20s\n" total used free

printf "Mem:%16s%20s%20s\n" $((mem_total/1024/1024))M $((mem_used/1024/1024))M $((mem_free/1024/1024))M

printf "Swap:%15s%20s%20s\n" $((swap_total/1024/1024))M $((swap_used/1024/1024))M $((swap_free/1024/1024))M

原文链接：https://phpor.net/blog/post/9165

bash 对单行中的单词进行排序

Bash No Responses »

3,815

6月 112018

排序一般使用sort命令，但是，sort命令是基于行的：

echo a c b d|sort

1	echo a c b d\|sort

这个是不会输出： a b c d 的

可以这样：

echo a c b d | xargs -n 1 |sort

1	echo a c b d \| xargs -n 1 \|sort

也或者：

echo a c b d |while read w; do echo $w done | sort

1	echo a c b d \|while read w; do echo $w done \| sort

总之，把空白换成换行

原文链接：https://phpor.net/blog/post/8741

Shell Style Guide

Bash No Responses »

2,980

6月 092018

https://google.github.io/styleguide/shell.xml

建议的bash风格，不可不学

原文链接：https://phpor.net/blog/post/8713

Older Entries