12月 122019
 

yarn中的资源调度:

参考: https://blog.51cto.com/14048416/2342195

进程关系:

nodemanager要执行的脚本如下:

default_container_executor.sh  ==调起===> default_container_executor_session.sh   ===调起===> launch_container.sh ===> 调起 ===> org.apache.hadoop.mapred.YarnChild

这里的脚本都是临时生成的,从进程上来看,YarnChild  的父进程是 default_container_executor.sh 而不是 launch_container.sh,是因为从default_container_executor.sh 到 org.apache.hadoop.mapred.YarnChild  的中间的所有“调起”,都使用的是exec,并不fork新的进程,也没有新的进程ID,以至于 org.apache.hadoop.mapred.YarnChild 的父进程就是default_container_executor.sh

(MRAppMaster和YarnChild的诞生方式差不多,都是nodemanager直接生出来的),所以所,MRAppMaster是一个临时的进程

各进程关系

NameNode: 只有在name节点上存在,只有一个进程。

DataNode: 只存在于数据节点上,每个数据节点有且只有一个这样的常住进程,负责该节点上数据的存取维护操作。

NodeManger:

ResourceMange:

 Posted by at 下午 5:34
12月 112019
 

通常来讲,容器为了更小,是不会带编辑器的,但是,利用docker cp 命令copy出来,编辑后再copy进去显得又比较麻烦,于是:

上一个简单的脚本:docker-vim

用法:

注意:

  1. 脚本中没有直接vim /proc/$pid/root/$file  ,因为这个可以read到文件内容,但是write会失败; 所以,先cd到/proc/$pid/root ,再vim $file 这样是正常的
  2. 该方法 仅适用于运行这的容器,(通常这可能并不是问题),可能有更好的编辑文件的办法
    1. 将容器文件系统挂载到宿主机的某个位置
    2. 让容器动态挂载一个有编辑器程序的volume
    3. 做一个非常简易的无依赖的编辑器程序copy到容器里面
 Posted by at 下午 1:53
12月 102019
 

明明服务listen了9736端口,外面访问该端口却连接失败。在服务器上tcpdump抓包发现,只有syn,并没有syn-ack,更没有rst。

难道是防火墙? Iptables都是空的;

难道有其它高级的设置?

难道网络有问题? 我已经ssh到这个机器上了(其实是从某个机器跳过来的)

灵光一闪,可能是路由问题,找不到回包路由,自然就没法回包了; ip route一下,果然没有默认路由,只有一条同网段机器的路由,我的ssh就是从同网段的其它机器上过来的。

添加默认路由后,一切ok了

 Posted by at 下午 4:48
12月 062019
 

node

nodemanager 是节点管理器,可以启动该节点上的服务器(server,包括domainAdminServer),添加节点的时候,节点类型有两种,一种是ssh类型,可以通过ssh来启动服务;另一种是java类型,说的就是nodemanager,默认listen 7730端口

domain

UPAS的最大管理单位,是一个逻辑概念

每个domain对应一个adminServer进程,一个节点上可以部署多个adminServer进程,相当于多个domain,每个域名字可以相同,ID一定不同;

同一个域中可以包含多个不同节点上的adminServer,他们之间靠组播进行同行,靠什么标识为同一个域的?

ID?: 每个adminServer按说应该有一个唯一的ID或者名字(但是文档说名字可以不唯一)

组播地址: 组播地址=组播IP+端口号

不同节点上的同一个domain的adminServer是如何身份验证的?

domain之间靠(虚拟)组播进行通信;组播就是真实意义上的组播,虚拟组播应该是类型组播功能的自己实现的一种通信方式吧。

  • UPAS一般在域里的服务器之间通过组播共享相互的状态,因此需要IP地址和端口号。域脱离子网,不能通过组播共享信息时,用TCP代替Multicase。它在UPAS里被称为虚拟组播,创建域时可以声明要使用虚拟组播。
  • 此时利用服务器的默认监听IP地址、端口号,会在服务器之间共享信息。因此在脱离子网的域里所有服务器必须声明监听IP地址、端口号。此外还要声明不能使用组播。

server

其实就是定义到某个节点上的一个upas进程,可以配置jvm选项、监听器等

 

application

 

组的概念

 

webadmin

是管理某个特定域的管理界面,upas中好像不存在一个可以创建、删除、修改domain的web控制台;创建、删除域是通过setup/ant 或upasadmin 来完成的,webadmin只用于当前域的配置。

webadmin中可以添加节点,节点设置只能在webadmin的首页找到

 

upasadmin

可以连接das和可以不连接das,二者能用的命令是不一样的,执行help时,就会只显示可用的命令的列表。

 

关于license

license过期只影响进程启动,不影响服务提供,只是记录证书过期日志而已。至于服务器时间不能正常,只是因为他们测试需要而已。

 

upas请求分发机制

  1. htl进程负责端口监听,请求进来后(即accept操作返回后),得到一个新的fd,通过unix socket将fd传送到hth进程
  2. hth进程还listen了一个端口,真实处理请求的进程会连接到这个端口,等着被分配任务,hth从htl接到fd后,读取请求,通过一定的分发规则,安排到某个任务处理者(就是webadmin中定义的server)
  3. 由于htl和hth之间是通过unix socket通信的,所以,二者只能在同一台机器上。也因为二者传递的是fd,也只能通过unix socket传递
  4. 由于hth和任务处理者通过tcp通信,所以,二者是可以在不同的机器上的

 

 Posted by at 上午 9:49
12月 042019
 

一般的函数定义方式:

 

二般的函数定义方式:

圆括号中之写形参名,圆括号后面在定义参数类型,分号结束函数签名,然后花括号定义函数体。

显得少许麻烦,但是还真有这么写的,eg:bash源码中 lib/readline/histfile.c

 Posted by at 下午 3:38
11月 292019
 

 

https://github.com/unioslo/zabbix-cli

虽然star不算多,但是功能还不算少;

基本使用:

下载:

git clone https://github.com/unioslo/zabbix-cli.git

安装:

sudo python setup.py install

 

初始化:

zabbix-cli-init -z http://$zabbix-server/zabbix/api_jsonrpc.php

配置记住用户名密码:

在 ~/.zabbix-cli/zabbix-cli.conf 中添加:

配置了 use_auth_token_file 后, 用户名token就会被记录在 ~/.zabbix-cli_auth_token 中,token是用户名密码登录后获取到的,是会过期的

 

基本用法:

查看可用的命令:

执行很多命令:

设置输出格式:

 Posted by at 下午 5:28
11月 282019
 

https://www.daimadog.com/5335.html

mac

https://blog.csdn.net/weixin_34101784/article/details/89752872

http://cocoa.venj.me/blog/custom-url-scheme-on-mac-and-ios/

mac麻烦一些

https://superuser.com/questions/548119/how-do-i-configure-custom-url-handlers-on-os-x

这里提到了很多办法

或许可以只注入协议到chrome浏览器,也可以使用桥接app来关联任意的程序

https://support.shotgunsoftware.com/hc/en-us/community/posts/209485898-Launching-External-Applications-using-Custom-Protocols-under-OSX?mobile_site=true

https://www.google.com/search?safe=active&sxsrf=ACYBGNT4HhNAgZJdNPEB6XJydeY-23nhDA%3A1574986994861&source=hp&ei=8mTgXdLSMpGD0wSl7Iu4Ag&q=mac+register+url+scheme&oq=mac+registe+url&gs_l=mobile-gws-wiz-hp.1.0.0i13i30j0i8i13i30.6173.16806..19703…1.0..0.254.1779.0j2j6……0….1…….8..35i362i39j0j0i12j0i203j0i30j0i19j0i13i30i19j33i160.Hlgxoew9enQ

 Posted by at 下午 7:15
11月 272019
 

这个是所有action的基类

这里面定义了,如果action类存在dialog方法,则使用swal显示结果,就是弹出对话框:

 

response的swal()方法就是设置

插件,这个插件定义的太简单,只有type和title,swal原本支持html的,但是,这里定义的太简单不支持html属性的设置

该response类还不能自定义插件

 

Action类中的response() 函数直接new了上面的response类,所以,注入的机会都没了:

好在该response方法是public的,而且也不长,适当的时候可以重写,使用一个自定义的扩展的reponse类来增强功能

 

action 的form表单应该在点击完提交按钮后,提交按钮变灰才行哦

 Posted by at 下午 4:54