PHPor 的Blog – 第25页

ceph 之纠删码操作

通过命令行创建纠删码规则

首先，需要创建 erasure-code-profile ，当然，也可以使用默认的 erasure-code-profile ，列出现有的 erasure-code-profile ：

# ceph osd erasure-code-profile ls default

1
2

# ceph osd erasure-code-profile ls
default
查看指定erasure-code-profile 的详细内容：

# ceph osd erasure-code-profile get default k=2 m=1 plugin=jerasure technique=reed_sol_van

1
2
3
4
5

# ceph osd erasure-code-profile get default
k=2
m=1
plugin=jerasure
technique=reed_sol_van
自定义erasure-code-profile ，创建一个只用hdd的 erasure-code-profile：

# ceph osd erasure-code-profile set hdd-3-2 k=3 m=2 crush-device-class=hdd

1

# ceph osd erasure-code-profile set hdd-3-2 k=3 m=2 crush-device-class=hdd

可用的选项有：
- crush-root: the name of the CRUSH node to place data under [default: default].
- crush-failure-domain（故障域）: the CRUSH type to separate erasure-coded shards across [default: host].
- crush-device-class（设备分类）: the device class to place data on [default: none, meaning all devices are used].
- k and m (and, for the lrc plugin, l): these determine the number of erasure code shards, affecting the resulting CRUSH rule.
根据erasure-code-profile 创建crush rule：

# ceph osd crush rule create-erasure erasure_hdd hdd-3-2 created rule erasure_hdd at 5

1
2

# ceph osd crush rule create-erasure erasure_hdd hdd-3-2
created rule erasure_hdd at 5

查看crush rule：

# ceph osd crush rule dump erasure_hdd
{
 "rule_id": 5,
 "rule_name": "erasure_hdd",
 "ruleset": 5,
 "type": 3,
 "min_size": 3,
 "max_size": 5,
 "steps": [
 {
 "op": "set_chooseleaf_tries",
 "num": 5
 },
 {
 "op": "set_choose_tries",
 "num": 100
 },
 {
 "op": "take",
 "item": -2,
 "item_name": "default~hdd"
 },
 {
 "op": "chooseleaf_indep",
 "num": 0,
 "type": "host"
 },
 {
 "op": "emit"
 }
 ]
}

# ceph osd crush rule dump erasure_hdd

{

"rule_id": 5,

"rule_name": "erasure_hdd",

"ruleset": 5,

"type": 3,

"min_size": 3,

"max_size": 5,

"steps": [

{

"op": "set_chooseleaf_tries",

"num": 5

{

"op": "set_choose_tries",

"num": 100

{

"op": "take",

"item": -2,

"item_name": "default~hdd"

{

"op": "chooseleaf_indep",

"num": 0,

"type": "host"

{

"op": "emit"

}

]

}

创建一个使用纠删码规则的pool

# ceph osd pool create test-bigdata 256 256 erasure hdd-3-2 erasure_hdd pool 'test-bigdata' created

1
2

# ceph osd pool create test-bigdata 256 256 erasure hdd-3-2 erasure_hdd
pool 'test-bigdata' created

语法： osd pool create <poolname> <int[0-]> {<int[0-]>} {replicated|erasure} [<erasure_code_profile>] {<rule>} {<int>}
尽管crush rule 也是根据erasure_code_profile来创建的，但是这里创建纠删码pool的时候，还是需要明确指定erasure_code_profile的
参考： http://docs.ceph.com/docs/master/rados/operations/pools/
调优：

# ceph osd pool set test-bigdata fast_read 1 set pool 24 fast_read to 1

1
2

# ceph osd pool set test-bigdata fast_read 1
set pool 24 fast_read to 1

目前，这个fast_read 之针对纠删码池有效的

如果需要在该pool创建rbd，则需要：

参考： http://docs.ceph.com/docs/master/rados/operations/erasure-code/

# ceph osd pool set test-bigdata allow_ec_overwrites true set pool 24 allow_ec_overwrites to true

1
2

# ceph osd pool set test-bigdata allow_ec_overwrites true
set pool 24 allow_ec_overwrites to true

创建一个replication pool来做cache tier

# ceph osd pool create test-bigdata-cache-tier 128
pool 'test-bigdata-cache-tier' created

# ceph osd tier add test-bigdata test-bigdata-cache-tier
pool 'test-bigdata-cache-tier' is now (or already was) a tier of 'test-bigdata'

# ceph osd tier cache-modetest-bigdata-cache-tier writeback
set cache-mode for pool 'test-bigdata-cache-tier' to writeback

# ceph osd tier set-overlay test-bigdata test-bigdata-cache-tier
overlay for 'test-bigdata' is now (or already was) 'test-bigdata-cache-tier'

# ceph osd pool create test-bigdata-cache-tier 128

pool 'test-bigdata-cache-tier' created

# ceph osd tier add test-bigdata test-bigdata-cache-tier

pool 'test-bigdata-cache-tier' is now (or already was) a tier of 'test-bigdata'

# ceph osd tier cache-modetest-bigdata-cache-tier writeback

set cache-mode for pool 'test-bigdata-cache-tier' to writeback

# ceph osd tier set-overlay test-bigdata test-bigdata-cache-tier

overlay for 'test-bigdata' is now (or already was) 'test-bigdata-cache-tier'

其实，不仅纠删码池可以做cache tier，replication 池子也能做cache tier，因为，我们可能有一批ssd盘，我们就可以在ssd上创建pool来充当sas盘的cache tier以提高性能；结合纠删码、replication、sas、ssd，我们可以做出多种不同性能的存储用以应对不同的场景。

然后 ceph 会提示： 1 cache pools are missing hit_sets ，还要设置 hit_set_count 和 hit_set_type

# ceph osd pool set test-bigdata-cache-tier hit_set_count 1
set pool 29 hit_set_count to 1

# ceph osd pool set test-bigdata-cache-tier hit_set_type bloom
set pool 29 hit_set_type to bloom

# ceph osd pool set test-bigdata-cache-tier hit_set_count 1

set pool 29 hit_set_count to 1

# ceph osd pool set test-bigdata-cache-tier hit_set_type bloom

set pool 29 hit_set_type to bloom

通过编辑crushmap来添加规则

参考：https://phpor.net/blog/post/7080

参考：

实战中的问题：

12个SAS在 60MB/s 的速度evict的时候，磁盘都很慢了，每个盘达到100左右的tps， 20MB/s左右的读写；比较坑的是，我基本没法控制evict的速度，只好静静地等待evict结束
evict 的同时还在promote， promote的速度倒是可控,但是 osd_tier_promote_max_bytes_sec 默认是5242880 字节（并不算很大）；问题：池子已经没有写入了，为何还在evict和promote？
修改cache-mode试试：按说，修改cache-mode为proxy时，就不应该再出现evict和promote了

果然，修改之后，ceph -s 立刻就看不到evict和promote了 🙂
查看cache-mode:

ceph osd pool ls detail|grep cache_mode

1

ceph osd pool ls detail|grep cache_mode

vsftp in docker

当vsftpd在容器里面，而且容器IP又是host内部的私有IP的情况，client采用passive模式来下载数据能行得通吗？可以的

passive模式下，vsftpd需要listen临时端口来传输数据，所以docker创建容器时，不仅要暴露21端口，还要暴露可能listen的临时端口，为了不映射太多端口，可以在vsftpd的配置文件中配置可能的临时端口的范围
passive模式下，vsftpd需要通过协议内容告知client临时端口及IP地址，然而，容器网卡IP地址显然是不能被client直接访问到的，庆幸的是，vsftpd配置文件中有关于可以告知client的ip地址的配置，该ip地址并不要求本机上必须有的，显然该配置是给类似情况准备的

每个kvm虚拟机进程，如果挂载N个rbd设备，则会有N个 fn-radosclient 线程，每个fn-radosclient 线程针对特定的osd只有一个connection；如此，一个rbd设备上的某块儿数据如果落在了相同的osd上，（猜测rados协议不会再同一个连接上同时做多个事务），则意味着不可能并行写入，于是乎，特别是对于随机读写，网络延迟对存储效率有着直接的影响，即使虚拟机内部多线程也无济于事，因为kvm进程中的fn-radosclient 只有一个

# top -p 2795 -b -n 1 -H|grep rados
 2816 qemu      20   0 5259308 3.403g   7356 S  0.0  3.6  15:01.80 fn-radosclient

1 2	# top -p 2795 -b -n 1 -H\|grep rados 2816 qemu 20 0 5259308 3.403g 7356 S 0.0 3.6 15:01.80 fn-radosclient

bash 之 <($cmd)

<($cmd) 可以模拟类似协程的效果，如下：

# cat <(while :; do echo 1; sleep 1; done )
1
1
1
1
1
1
^C

# cat <(while :; do echo 1; sleep 1; done )

当然，效果上虽然和走管道类似，但是如果程序不支持读标准输入的话，这也不失为一种不错的替代; 当然，这个也可以用于标准输入的重定向：

# cat < <(while :; do echo 1; sleep 1; done )

1	# cat < <(while :; do echo 1; sleep 1; done )

这两种写法只差一个 < ，后者是shell直接帮做了标准输入的重定向，前者没有做标准输入的重定向，只是向打开普通文件一样的方式打开了bash帮忙生成的一个临时文件。

这种语法叫做Process Substitution

OSS 文件分析

文件大小分布
目录最后修改时间（确定是否长期未使用）
目录总容量

脚本：

#!/bin/bash
# 分析目标下的所有子目录

target=$1

time_start=$(date +%s)
entry=$(ossutil64 ls -d $target | grep "^oss://")
printf "%-32s%16s%16s%16s%16s%16s%10s%9s%20s\n" "DIR" "<100KB" "<300KB" "<1MB" "<5MB" ">5MB" "All" "Capcity" "lastmodify"
for e in $entry; do
	ossutil64 ls $e |awk -v e=$e -f fenxi.awk
done

time_end=$(date +%s)
time_use=$((time_end - time_start))
echo
echo elapsed time:  $(( time_use / 3600 )) hours $(( time_use % 3600 / 60)) mins $(( time_use % 60)) s

#!/bin/bash

# 分析目标下的所有子目录

target=$1

time_start=$(date +%s)

entry=$(ossutil64 ls -d $target | grep "^oss://")

printf "%-32s%16s%16s%16s%16s%16s%10s%9s%20s\n" "DIR" "<100KB" "<300KB" "<1MB" "<5MB" ">5MB" "All" "Capcity" "lastmodify"

for e in $entry; do

ossutil64 ls $e |awk -v e=$e -f fenxi.awk

done

time_end=$(date +%s)

time_use=$((time_end - time_start))

echo

echo elapsed time: $(( time_use / 3600 )) hours $(( time_use % 3600 / 60)) mins $(( time_use % 60)) s

function format_capcity(num) {
    KB=1024;
    MB=KB*1024;
    GB=MB*1024;
    TB=GB*1024;
    if(num > TB) return sprintf("%6.2fTB", num/TB);
    if(num > GB) return sprintf("%6.2fGB", num/GB);
    if(num > MB) return sprintf("%6.2fMB", num/MB);
    if(num > KB) return sprintf("%6.2fKB", num/KB);
    return sprintf("%6d", num);
}
 
BEGIN{
    k100=0;k300=0;m1=0;m5=0;marge=0;all=0;lastmodify=0;capcity_all=0;
}
 
NR>1 && $8 ~ /^oss:/ {
    all++;
    capcity_all+=$5;
    if($5 < 102400) k100++;
    else if($5 < 1024*300) k300++;
    else if($5 < 1024*1000) {m1++;}
    else if ($5 < 1024 * 1024 * 5) {m5++;}
    else large++;
    if (lastmodify < $1"T"$2) lastmodify=$1"T"$2;
}
 
END{
    gsub("oss://[^/]+", "", e)
    printf("%-32s%9s(%4.1f%%)%9s(%4.1f%%)%9s(%4.1f%%)%9s(%4.1f%%)%9s(%4.1f%%)%10s%9s%20s\n", e, k100, k100*100/all,k300, k300*100/all,m1, m1*100/all,m5, m5*100/all,large, large*100/all, all, format_capcity(capcity_all), lastmodify);
}

function format_capcity(num) {

KB=1024;

MB=KB*1024;

GB=MB*1024;

TB=GB*1024;

if(num > TB) return sprintf("%6.2fTB", num/TB);

if(num > GB) return sprintf("%6.2fGB", num/GB);

if(num > MB) return sprintf("%6.2fMB", num/MB);

if(num > KB) return sprintf("%6.2fKB", num/KB);

return sprintf("%6d", num);

}

BEGIN{

k100=0;k300=0;m1=0;m5=0;marge=0;all=0;lastmodify=0;capcity_all=0;

}

NR>1 && $8 ~ /^oss:/ {

all++;

capcity_all+=$5;

if($5 < 102400) k100++;

else if($5 < 1024*300) k300++;

else if($5 < 1024*1000) {m1++;}

else if ($5 < 1024 * 1024 * 5) {m5++;}

else large++;

if (lastmodify < $1"T"$2) lastmodify=$1"T"$2;

}

END{

gsub("oss://[^/]+", "", e)

printf("%-32s%9s(%4.1f%%)%9s(%4.1f%%)%9s(%4.1f%%)%9s(%4.1f%%)%9s(%4.1f%%)%10s%9s%20s\n", e, k100, k100*100/all,k300, k300*100/all,m1, m1*100/all,m5, m5*100/all,large, large*100/all, all, format_capcity(capcity_all), lastmodify);

}

命令：

DIR                                       <100KB          <300KB            <1MB            <5MB            >5MB       All  Capcity          lastmodify
/dir1/                            2602(16.8%)     7584(49.0%)     3752(24.2%)     1548(10.0%)        2( 0.0%)     15488  11.34GB 2016-06-07T16:15:10
/dir2/                           26( 1.2%)        0( 0.0%)        1( 0.0%)       61( 2.9%)     2034(95.9%)      2122  26.09TB 2018-01-26T18:08:38
/dir3/                                    1(10.0%)        1(10.0%)        2(20.0%)        2(20.0%)        4(40.0%)        10 235.13MB 2016-02-22T15:03:58
/dir4/                                  0( 0.0%)        0( 0.0%)        0( 0.0%)        0( 0.0%)        2(100.0%)         2 396.21MB 2017-03-09T10:17:27

elapsed time: 0 hours 0 mins 3 s

DIR <100KB <300KB <1MB <5MB >5MB All Capcity lastmodify

/dir1/ 2602(16.8%) 7584(49.0%) 3752(24.2%) 1548(10.0%) 2( 0.0%) 15488 11.34GB 2016-06-07T16:15:10

/dir2/ 26( 1.2%) 0( 0.0%) 1( 0.0%) 61( 2.9%) 2034(95.9%) 2122 26.09TB 2018-01-26T18:08:38

/dir3/ 1(10.0%) 1(10.0%) 2(20.0%) 2(20.0%) 4(40.0%) 10 235.13MB 2016-02-22T15:03:58

/dir4/ 0( 0.0%) 0( 0.0%) 0( 0.0%) 0( 0.0%) 2(100.0%) 2 396.21MB 2017-03-09T10:17:27

elapsed time: 0 hours 0 mins 3 s

注意：

结果如果要按照空格分域粘贴到Excel中，需要将百分数前面可能存在的空格给替换掉：

sed s/\(\ /\(/g

1

sed s/\(\ /\(/g

awk 知识点：

自定义函数
内置函数gsub使用
printf格式化函数，sprintf函数
awk 中字符串连接的语法

bash 之标准输入、标准输出、标准错误重定向

一般来讲：

cat a.txt |wc -l

1	cat a.txt \|wc -l

我们都知道这是什么意思，或者：

cat a.txt >/dev/null

1	cat a.txt >/dev/null

但是：

<a.txt >/dev/null cat

1	<a.txt >/dev/null cat

这又是什么鬼？

其实，仅仅是把重定向写到命令前面而已, 等效于：

cat <a.txt >/dev/null

1	cat <a.txt >/dev/null

而且都是之影响一条可执行命令而已：

>/tmp/c echo a && echo b
b

1 2	>/tmp/c echo a && echo b b

这个只影响echo a 的输出重定向，没有影响到echo b 的输出重定向

关于ssl证书提供商

缘起：

我从赛门铁克买的证书是Verisign签发的，后来说是证书有问题，需要重签，拿到的证书就成了DigiCert签发的了；而且邮件里面给出的证书的安装配置和使用方案，请参考：

https://www.itrus.cn/service_13.html 这个地址是天威诚信的网站。

那么， Verisign / Symantec / DigiCert / 天威诚信都是啥关系？

天威诚信是Symantes中国大陆地区的首要合作伙伴。

2010年8月，赛门铁克收购VeriSign，VeriSign认证服务现均由赛门铁克提供。赛门铁克重点在2012年4月对VeriSign的产品名称和品牌标识进行变更;

2017年8月份，赛门铁克把web安全业务卖给了DigiCert , 并占有DigiCert 30% 的普通股： http://www.cnbeta.com/articles/tech/637909.htm

更多： GeoTrust 似乎也是重要的SSL证书提供商，那么和上述的机构是否也有关系呢？

参考： https://baike.baidu.com/item/verisign/8794893

VeriSign 是全球最大的数字证书颁发机构，于 2006 年 9 月以 1.25 亿美元完成收购 GeoTrust ，当时 GeoTrust 约占全球 25% 市场分额。VeriSign通过与中国内地数字认证服务商天威诚信合作共同推进数字证书业务在国内的发展

中国也有根CA了：

中国金融认证中心(CFCA)证书，由中国数字证书认证机构自主研发，纯国产证书。*注: CFCA服务器证书目前不支持苹果iOS 10.1及10.1以前的版本，不支持安卓6.0以前的版本

阿里云购买证书似乎便宜些：（方便比价）

https://common-buy.aliyun.com/?spm=5176.7968328.1120760.1.67f91232806dKi&commodityCode=cas#/buy

https://www.aliyun.com/product/cas?utm_content=se_1550552

参考：

http://www.ert7.com/symantecs.html

https://marketrealist.com/2017/08/why-symantec-sold-its-web-security-business-to-digicert

http://www.cnbeta.com/articles/soft/636841.htm

http://tech.sina.com.cn/roll/2017-03-28/doc-ifycspxp0209037.shtml

https://www.digicert.com/blog/digicert-to-acquire-symantec-website-security-business/

https://www.symantec.com/about/newsroom/press-releases/2017/symantec_0802_01

http://www.cnbeta.com/articles/tech/630921.htm

ssh远程copy目录到远程

阿里云redis数据迁移

一般来讲，如果我们要从自建的redia迁移到阿里的redis，可以采用aof文件的办法，通过：

CONFIG SET appendonly yes

1	CONFIG SET appendonly yes

创建一个aof文件，也可能你的配置下本来就有这个文件，然后通过：

tail -n $big_number -f  appendonly.aof |redis-cli target_host target_port

1	tail -n $big_number -f appendonly.aof \|redis-cli target_host target_port

其中 $big_number 是一个足够大的数，保证tail是从文件的第一行开始的，如此，则可以保证源redis和目标redis的数据是一致的，代码上修改完配置后，源redis不再有写入，即可废掉源redis

由于阿里云的redis没有一个可以供我们tail的aof文件，所以，没法通过上述办法将阿里云redis数据平滑迁移到本地（抑或是阿里云其他）redis实例，不过也可以有不太平滑的办法的。

阿里云redis的备份其实就是一个rdb文件，只需要：

方案一：

停掉redis
创建redis备份（这个在阿里云控制台是支持的）
下载备份
根据备份启动redis实例
生成一个aof文件
cat aof | redis-cli target_host target_port 即可
如果需要在迁移的同时修改db号，即：将db 1 中的数据迁移到db 2中，可参考： https://phpor.net/blog/post/5614
该方案需要暂停服务的

方案二：

使用工具 https://github.com/vipshop/redis-migrate-tool https://q.cnblogs.com/q/93181/
该方案没法将源db修改成目标的其他db

方案三：

使用redis-port

bash 之echo vs printf

没有发现如何仅仅通过echo 直接输出 ‘-e’ 的方法， printf则可以 — 使得不再继续解析更多选项。

If you want to literally print the string “-e”, you will have difficulties doing it with echo. I faced such a problem recently while writing a script.

I had to use prinf to be able to print the literal string “-e”.