iptables下udp穿越基础篇—-iptables与stun

摘自:http://www.360doc.com/content/070205/13/17255_356485.html

iptables与stun

Stun协议(Rfc3489、详见http://www.ietf.org/rfc/rfc3489.txt)将NAT粗略分为4种类型,即Full Cone、Restricted Cone、Port Restricted Cone和Symmetric。举个实际例子(例1)来说明这四种NAT的区别:
A机器在私网(192.168.0.4)
NAT服务器(210.21.12.140)
B机器在公网(210.15.27.166)
C机器在公网(210.15.27.140)
现在,A机器连接过B机器,假设是 A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:8000)-> B(210.15.27.166:2000)。
同时A从来没有和C通信过。
则对于不同类型的NAT,有下列不同的结果:
Full Cone NAT:C发数据到210.21.12.140:8000,NAT会将数据包送到A(192.168.0.4:5000)。因为NAT上已经有了192.168.0.4:5000到210.21.12.140:8000的映射。
Restricted Cone:C无法和A通信,因为A从来没有和C通信过,NAT将拒绝C试图与A连接的动作。但B可以通过210.21.12.140:8000与A的192.168.0.4:5000通信,且这里B可以使用任何端口与A通信。如:210.15.27.166:2001 -> 210.21.12.140:8000,NAT会送到A的5000端口上。
Port Restricted Cone:C无法与A通信,因为A从来没有和C通信过。而B也只能用它的210.15.27.166:2000与A的192.168.0.4:5000通信,因为A也从来没有和B的其他端口通信过。该类型NAT是端口受限的。
Symmetric NAT:上面3种类型,统称为Cone NAT,有一个共同点:只要是从同一个内部地址和端口出来的包,NAT都将它转换成同一个外部地址和端口。但是Symmetric有点不同,具体表现在:只要是从同一个内部地址和端口出来,且到同一个外部目标地址和端口,则NAT也都将它转换成同一个外部地址和端口。但如果从同一个内部地址和端口出来,是到另一个外部目标地址和端口,则NAT将使用不同的映射,转换成不同的端口(外部地址只有一个,故不变)。而且和Port Restricted Cone一样,只有曾经收到过内部地址发来包的外部地址,才能通过NAT映射后的地址向该内部地址发包。
现针对Symmetric NAT举例说明(例2):
A机器连接过B机器,假使是 A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:8000)-> B(210.15.27.166:2000)
如果此时A机器(192.168.0.4:5000)还想连接C机器(210.15.27.140:2000),则NAT上产生一个新的映射,对应的转换可能为A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:8001)-> C(210.15.27.140:2000)。此时,B只能用它的210.15.27.166:2000通过NAT的210.21.12.140:8000与A的192.168.0.4:5000通信, C也只能用它的210.15.27.140:2000通过NAT的210.21.12.140:8001与A的192.168.0.4:5000通信,而B或者C的其他端口则均不能和A的192.168.0.4:5000通信。
通过上面的例子,我们清楚了Stun协议对NAT进行分类的依据。那么,我们现在根据上述分类标准(或例子),来简要分析一下iptables的工作原理(仅指MASQUERADE、下同),看看他又是属于哪种NAT呢?
首先,我们去网上下载一个使用Stun协议检测NAT的工具,网址在http://sourceforge.net/projects/stun/,使用该工具对iptables的检测结果是Port restricted NAT detected。
我们先不要急着接受这个检测结果,还是先来分析一下iptables的工作原理吧!
iptables在转换地址时,遵循如下两个原则:
1、尽量不去修改源端口,也就是说,ip伪装后的源端口尽可能保持不变。(即所谓的Preserves port number)
2、更为重要的是,ip伪装后只需保证伪装后的源地址/端口与目标地址/端口(即所谓的socket)唯一即可。
仍以前例说明如下(例3):
A机器连接过B机器,假使是 A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:5000)-> B(210.15.27.166:2000)。(注意,此处NAT遵循原则1、故转换后端口没有改变)
如果此时A机器(192.168.0.4:5000)还想连接C机器(210.15.27.140:2000),则NAT上产生一个新的映射,但对应的转换仍然有可能为A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:5000)-> C(210.15.27.140:2000)。这是因为NAT(转换后210.21.12.140:5000)-> B(210.15.27.166:2000)和NAT(转换后210.21.12.140:5000)-> C(210.15.27.140:2000)这两个socket不重复。因此,对于iptables来说,这既是允许的(第2条原则)、也是必然的(第1条原则)。
在该例中,表面上看起来iptables似乎不属于Symmetric NAT,因为它看起来不符合Symmetric NAT的要求:如果从同一个内部地址和端口出来,是到另一个目标地址和端口,则NAT将使用不同的映射,转换成不同的端口(外部地址只有一个,故不变)。相反,倒是符合除Symmetric NAT外的三种Cone NAT的要求:从同一个内部地址和端口出来的包,NAT都将它转换成同一个外部地址和端口。加上iptables具有端口受限的属性(这一点不容置疑,后面举反例证明之),所以好多检测工具就把iptables报告为Port restricted NAT类型了。
下面仍以前例接着分析(例4):
在前例中增加D机器在A同一私网(192.168.0.5)
A机器连接过B机器,假使是 A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:5000)-> B(210.15.27.166:2000)
D机器连接过C机器,假使是 D(192.168.0.5:5000)-> NAT(转换后210.21.12.140:5000)-> C(210.15.27.140:2000)
由iptables转换原则可知,上述两个转换是允许且必然的。
如果此时A机器(192.168.0.4:5000)还想连接C机器(210.15.27.140:2000),则NAT上产生一个新的映射,但对应的转换则变为A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:5001)-> C(210.15.27.140:2000)。这是因为,如果仍然将其转换为210.21.12.140:5000的话,则其所构成的socket(210.21.12.140:5000->210.15.27.140:2000)将和D->C的socket一致,产生冲突,不符合iptables的第2条原则(注意,此处以5001表示转换后不同的端口,但事实上,iptables却并不按照内部端口+1的原则来产生新的端口)。在本例中我们注意到,从同一个内部地址和端口A(192.168.0.4:5000)出来,到不同的目标地址和端口,则NAT使用了不同的映射,转换成不同的端口。
上面这个例子在实际环境中比较少见,我们再以QQ为例举一个真实且常见的例子(例5)。
假设
A(192.168.0.4)和 D(192.168.0.5)是同一NAT服务器(210.21.12.140)保护的两台私网机器,都运行了QQ客户端程序。
B机器在公网(210.15.27.166),运行QQ服务器程序。
C机器在公网(210.15.27.140),运行QQ客户端程序。
A上QQ先登陆到B,按照原则1,使用如下映射:
A(192.168.0.4:4000)-> NAT(转换后210.21.12.140:4000)-> B(210.15.27.166:8000)(原则1,端口不变)
接着D上QQ也登陆到B,按照原则2,使用如下映射:
D(192.168.0.5:4000)-> NAT(转换后210.21.12.140:4001)-> B(210.15.27.166:8000)(原则2,scoket不能有重复,此处4001仅表示转换后不同的端口,实际环境中决不是4001)
然后D欲和公网C(210.15.27.140)上的QQ通信,按照iptables转换原则,使用如下映射:
D(192.168.0.5:4000)-> NAT(转换后210.21.12.140:4000)-> C(210.15.27.140:4000)
到此我们发现,和上例一样,从同一个内部地址和端口D(192.168.0.5:4000)出来,到不同的目标地址和端口,则NAT使用了不同的映射,转换成不同的端口。但和上例不一样的是,本例显然普遍存在于实际环境中。
上面所举两例表明,结论刚好和例3相反,即iptables应该属于Symmetric NAT。
为什么会出现彼此矛盾的情况呢?首先从NAT分类的定义上来看, Stun协议和iptables对映射的理解不同。Stun协议认为,一个映射的要素是:内部地址端口和NAT转换后地址端口的组合。而在iptables看来,一个映射的要素是:NAT转换后地址端口和外部目标地址端口的组合。另一方面则是Stun协议里Discovery Process给出的测试环境不够全面之故,他只考虑了NAT后面仅有一台私网机器的特例(例3),没有考虑NAT后面可以有多台私网机器的普遍例子(例5)。正是由于这两个原因,直接导致了上述矛盾的发生。所以,凡按照Stun协议标准设计的NAT分类检测工具对iptables的检测结果必然是Port restricted NAT。(事实上,在例3那样的特例下,iptables确实是一个标准的Port restricted NAT)
那么,iptables究竟属于哪种NAT呢?我们再来回顾一下Stun协议对Cone NAT的要求:所有(或只要是)从同一个内部地址和端口出来的包,NAT都将它转换成同一个外部地址和端口。虽然iptables在部分情况下满足“从同一个内部地址和端口出来的包,都将把他转换成同一个外部地址和端口”这一要求,但它不能在所有情况下满足这一要求。所以理论上,我们就只能把iptables归为Symmetric NAT了。
下面,我们再来分析一下iptables的端口受限的属性,我们举一个反例证明之(例6),仍以前例说明如下:
A机器连接过B机器,假使是 A(192.168.0.4:5000)-> NAT(转换后210.21.12.140:5000)-> B(210.15.27.166:2000)
D机器连接过C机器,假使是 D(192.168.0.5:5000)-> NAT(转换后210.21.12.140:5000)-> C(210.15.27.140:2000)
现假设iptables不具有端口受限的属性,则另一E机器在公网(210.15.27.153:2000)或C(210.15.27.140:2001)向210.21.12.140:5000发包的话,应该能够发到内部机器上。但事实是,当这个包到达NAT(210.21.12.140:5000)时,NAT将不知道把这个包发给A(192.168.0.4:5000)还是D(192.168.0.5:5000)。显然,该包只能丢弃,至此,足以证明iptables具有端口受限的属性。
所以,iptables是货真价实的Symmetric NAT。

附:
1、Stun全称Simple Traversal of UDP Through NATs,所以本文所涉及的包,皆为UDP包。
2、本文虽然是针对linux下iptables的分析,但倘若把本文中关键词“iptables”换成“Win2000下的ics或nat”,则本文的分析过程完全适用于Win2000下的ics或nat。即理论上Win2000下的ics或nat也是货真价实的Symmetric NAT,但实际上,凡按照Stun协议标准设计的NAT分类检测工具对其检测结果也必然是Port restricted NAT。其实,不光是linux下iptables、或者Win2000下的ics或nat、再或者任何其他NAT产品,只要他们遵循和iptables一样的两条转换原则,那么他们在Stun协议下的表现是完全一样的。
3、虽然Win2000下的ics或nat在Stun协议下的表现和iptables完全一样,但其NAT时所遵循的原则1和iptables还是略有差别:iptables对内部私网机器来的所有源端口都将适用Preserves port number,除非确因原则2发生冲突而不得不更换源端口号,但在更换端口号时并不遵循内部端口+1原则(似乎没有规律)。Win2000下的ics或nat则仅对内部私网机器来的部分源端口(1025–3000)适用Preserves port number,对于那些超过3000的源端口号或者因原则2发生冲突的端口号,系统从1025开始重新按序分配端口,在此过程中,仍然遵循如前两个原则,只是原则1不再Preserves port number而已(在不与原则2发生冲突的前提下,尽量重复使用小的端口号,故使用1025的几率远远大于1026、1027…)。

P2P网络“自由”穿越NAT的“秘密”

穿越NAT的意义:
  NAT是为了节省IP地址而设计的,但它隐藏了内网机器的地址,“意外”起到了安全的作用。对外不可见,不透明的内部网络也与互联网的“公平”应用,“相互共享”的思想所不容,尤其是P2P网络中“相互服务”的宗旨,所以穿越NAT,让众多内部网络的机器也参与到P2P网络中的大集体中来,一直是P2P开发者的所希望的。穿越NAT需要借助外部的支持,说白了就是“内外勾结”,骗过NAT。很多P2P网络成功地实现了这一目标,但还是有一些“遗憾”—并非所有的情况下都可以。由于客户端是主动登录P2P网络才可穿越,所以P2P的方式也没有违背企业的内部管理原则,毕竟“自由世界”的加入都是自觉自愿的。
  NAT原理:
  NAT(Network Address Translation)网络地址转换/网络地址翻译。
  工作原理:NAT主要的通过对数据包头的地址替换来完成内网计算机访问外网服务的。当内部机器要访问外部网络时,NAT设备把内部的IP1与端口号1(网络层地址与传输层地址),转换成NAT的外部IP2与新的端口号2,再送给外部网络,数据返回时,再把目的为IP2:端口2的数据包替换为IP1:端口1,送给内网机器。若通讯协议的内容中有IP地址的传递,如FTP协议,NAT在翻译时还要注意数据包内涉及协议地址交互的地方也要替换,否则协议就会出现地址混乱。在NAT设备中维护了这个要替换地址的映射表,并根据内部计算机的通讯需求维护该表。外部网络来数据包能否进入NAT,主要是看是否已经有可映射的表项,若没有就会丢弃。
  
  NAT的外部公网地址可以是一个IP,也可以是一个网段,形成地址池。NAT还可以把某个外网地址直接影射给内网的某个服务器,让外网的用户可以直接访问到这台服务器。NAT的工作的隐藏内网的机器,但允许内网主动打开到外网的通讯“通道”,也就是建立映射表项。
  NAT给P2P带来的问题是:NAT只允许单方面发起连接,通讯的双方不是平等的,P2P网络的基础有了问题,具体的表现为:
  内网主机IP是私有的,外部主机看不到,也无法主动发起连接
  即使知道了内网IP,但NAT会丢弃没有在影射表的数据包
  内网主机可以作为客户端访问外网,但不能作为服务器提供服务
  当两个主机都位于各自的NAT之后,要实现P2P的连接,就不仅是谁主动的问题,而是如何解决在两个NAT上同时有对方映射表项的问题。
STUN协议(IETF RFC 3489):
  STUN协议是一种通道协议,可以作为正式通讯前的通路建立,它采用的是用户终端干预的一种方法,可以解决应用协议内部传递IP地址给NAT带来的麻烦。用户通过其他方法得到其地址对应在NAT出口上的对外地址,然后在报文负载中所描述的地址信息就直接填写NAT上对外地址,而不是内网的私有IP,这样报文的内容在经过NAT时就按普通的NAT流程转换报文头部的IP地址即可,负载内的IP地址信息无需再修改。利用STUN的思路可以穿越NAT。STUN协议是客户端/服务器协议,分两种请求方式:一是UDP发送的绑定请求(Binding Requests),二是TCP发送的秘密请求(Shared Secret Requests)。绑定请求用于确定NAT分配的绑定地址。
  STUN标准中,根据内部终端的地址(P:p)到NAT出口的公网地址(A:b)的影射方式,把NAT分为四种类型:
  
  1. Full Cone:来自相同的内部地址的请求消息映射为相同的外部地址,与外部地址(目的地址)无关。映射关系为P:p↔A:b,任何外部主机可通过(A:b)发送到数据到(P:p)上。
  2. Restricted Cone:来自相同的内部地址的请求消息映射为相同的外部地址,返回的数据只接受该内部节点曾发数据的那个目的计算机地址X。映射关系为P:p↔A:b↔X,只有来自X的数据包才可通过(A:b)发送到数据到(P:p)上。
  3. Port Restricted Cone:来自相同的内部地址的请求消息映射为相同的外部地址,返回的数据只接受该内部节点曾发数据的那个目的地址X:x。映射关系为P:p↔A:b↔X:x,只有来自X:x的数据包才可通过(A:b)发送到数据到(P:p)上。
  4. Symmetric(对称) NAT:只有来自相同的内部地址(P:p),并且发送到同一个地址(X:x) 的请求消息,才被映射为相同的外部地址(A:b),返回的数据只接受该内部节点曾发数据的那个目的地址X:x。映射关系为P:p↔A:b↔X:x,当(P:p)访问(Y:y)时,映射为P:p↔B:c↔Y:y。
  P2P利用STUN穿越NAT:
  位于NAT后面终端A与B要穿越NAT直接通讯,可以借助在公网上的第三者Server来帮助。
  穿越NAT的情况分为为两种方式:1、一方在NAT之后,一方在公网上。这种情况相对简单,只要让NAT之后的终端先发起通讯,NAT就没有作用了,它可以从Server上取得另一个Peer的地址,主动连接,回来的数据包就可以方便地穿越NAT。2、双方都在NAT之后,连接的成功与否与两个NAT的类型有关。主要的思路的先通过终端与Server的连接,获得两个终端在NAT外部的地址(IP与端口号),再由终端向对方的外部地址发邀请包,获取自己与对方通讯的外部地址,俗称为“打洞”。关键是获取了NAT外部映射的地址,就可以发包直接沟通,建立连接。但当一方是对称型,另一方是Port Restricted或对称型时,无法有效获取外部地址,邀请包无法到达对方,也就无法穿越NAT。具体的分析可以根据两个NAT的类型分成若干情况分析,这里给一般的穿越例子。
  
实例:UDP穿越NAT:
  A登录Server,NAT A分配端口11000,Server得到A的地址为100.10.10.10:11000
  B登录Server,NAT B分配端口22000,Server得到B的地址为200.20.20.20:22000
  此时B会把直接来自A的包丢弃,所以要在NAT B上打一个方向为A的洞,那么A就可以向200.20.20.20:22000发送数据了
  打洞的指令来自Server。B向A的地址100.10.10.10:11000发一个UDP报文,被NAT A丢弃,但在NAT B上建立映射记录,NAT B不在丢弃来自A的报文。
  Server通知A可以通讯,A发起数据UDP包给B,NAT B放行,B收到A的包,双方开始通讯
  注:若是对称NAT,当B向A打洞的端口要重新分配(NAT A不会再分配11000端口),B无法获取这个端口,所以不适用本方法。
  实例:TCP穿越NAT:
  A登录Server,NAT A分配端口11000,Server得到A的地址为100.10.10.10:11000
  B登录Server,NAT B分配端口22000,Server得到B的地址为200.20.20.20:22000
  A向B发送TCP数据包SYN:192.168.10.11:1234=>200.20.20.20:22000,在NAT A上打洞
  B向A发送TCP数据包SYN:192.168.20.22:1234=>100.10.10.10:11000,在NAT B上打洞
  通道建立,A与B三次握手建立TCP连接

IP协议的CheckSum函数之理解

IP 协议中的checksum
Author:zfive5(zhaozidong)
Email :zfive5@yahoo.com.cn
 
最近一段时间,对网络又开始追根溯源,最好的办法就是打开开源协议栈看一个究竟,不求写一个完整的ip协议栈,但求通达解惑!
 
众所周知,IP头定义如下:
struct IPHeader
{
   unsigned char ver_hlen;  
   unsigned char tos;
   unsigned short  len;
   unsigned short  id;
   unsigned short  offset;
   unsigned char  ttl;
   unsigned char  type;
   unsigned short   cksum_header;
   unsigned long  ipsrc;
   unsigned long  ipdest;
   /*
     后面可能存在option数据
   */
}
IP头中的大多字段都好理解,只要一本TCP/IP入门的书就可以明明白白了,对cksum字段理解,如果只是看书,到头来很可能还不清楚怎么算它!
 
关于cksum_header的描述在《tcp/ip卷一》中是这样描述的:
   首部检验和字段是根据I P 首部计算的检验和码。它不对首部后面的数据进行计算。I C M P I G M P U D P T C P 在它们各自的首部中均含有同时覆盖首部和数据检验和码。
   为了计算一份数据报的I P 检验和,首先把检验和字段置为0 。然后,对首部中每个16 bit进行二进制反码求和(整个首部看成是由一串16 bit 的字组成),结果存在检验和字段中。当收到一份I P 数据报后,同样对首部中每个16 bit 进行二进制反码的求和。由于接收方在计算过,程中包含了发送方存在首部中的检验和,因此,如果首部在传输过程中没有发生任何差错,那么接收方计算的结果应该为全1 。如果结果不是全1 (即检验和错误),那么I P 就丢弃收到的数据报。但是不生成差错报文,由上层去发现丢失的数据报并进行重传。
 
不知道有多少能人看完此描述后,写出算法或函数来!
 
正确的函数如下:
unsigned short CheckSum(unsigned short *szBUF,int iSize)
{       
       unsigned long ckSum=0;
    for(;iSize>1;iSize-=sizeof(unsigned short))
              ckSum+=*szBUF++;
 
       if(iSize==1)
              ckSum+=*(unsigned char *)szBUF;
 
       ckSum=(ckSum>>16)+(ckSum&0xffff);
       ckSum+=(ckSum>>16);
       return(unsigned short )(~ckSum);
}
 
让我们假设一个IP头数据,来解cksum的惑!
 
IP头数据:
 
01000101   / ver_hlen;
00000000   /tos*/
00000000 00000010/*len*/
00000000 00000000/*id*/
00000000 00000000/*offset*/
00000001/*ttl*/
00010001/*type*/
00000000 00000000/*cksum0)*/
01111111 00000000 00000000 0000001/*sip*/
01111111 00000000 00000000 0000001/*dip*/
 
运算过程(注意是大端格式加):
 
01000101 00000000
01000101 00000000
00000000 00000010
01000101 00000010
00000000 00000000
01000101 00000010
00000000 00000000
01000101 00000010
00000100 00010001
01001001 00010011
00000000 00000000
01001001 00010011
01111111 00000000
11001000 00010011
00000000 00000001
11001000 00010100
01111111 00000000
01000111 00010100
00000000 00000001
和: 101000111 00010101
                  
ckSum=(ckSum>>16)+(ckSum&0xffff)后:
 
   00000000 00000001                1
 01000111 00010101
和: 01000111 00010110
 
ckSum+=(ckSum>>16)后:
   
   01000111 00010110
   00000000 00000000
和: 01000111 00010110
 
~: 10111000 11101000(效检和)
 
 
运算过程(注意用小端格式加):
 
00000000 01000101
00000000 01000101
00000010 00000000
00000010 01000101
00000000 00000000
00000010 01000101
00000000 00000000
00000010 01000101
00010001 00000100
00010011 01001001
00000000 00000000  
00010011 01001001
00000000 01111111  
00010011 11001000
00000001 00000000  
00010100 11001000
00000000 01111111  
00010101 01000111
00000001 00000000  
和: 00010110 01000111
ckSum=(ckSum>>16)+(ckSum&0xffff)后:
 
   00000000 00000000                1
 00010110 01000111
和: 00010110 01000111
 
ckSum+=(ckSum>>16)后:
   
   00010110 01000111
   00000000 00000000
和: 00010110 01000111
 
~: 11101001 10111000(效检和)
 
 
checksum211101000 10111000(小端)
 
checksum110111000 11101000(大端)
 
算法一样,说白了就是循环加,加到没有进位为止,然后在取反!
 
在现在《TCPIP卷二》中的cksum实现有以下语句:
while(sum>>16)
 sum=(sum&0xffff)+(sum>>16);
 
通过它更能说明就是在作循环加操作,现在又有一个疑问:
       ckSum=(ckSum>>16)+(ckSum&0xffff);
       ckSum+=(ckSum>>16);         
while(sum>>16)
   sum=(sum&0xffff)+(sum>>16);
等价吗?
 
等价,在一定条件下等价,大家都知道ip理论上最长是0xffff
那么
checksum最大不会超过:0xffff0000
这样>>16后为0xffff
0xffff+checksum最大0x1fffe
0x1fffe >>16+0x1fffe=0xffff
注意了没有了进位
所以得到等价的结论!
 
 
以前每读到cksum注解时,书上只是草草曰16位反码和之云云,没有强调进位也要参加运算一点征兆,直到最近写了不少程序才看清楚这个细节!
 
源码之下必解惑!

hh.exe参数

hh.exe参数

题注:hh.exe是一个命令下打开chm文件的小程序。但是某天在csdn发现了某网友帖出的–hh.exe隐藏参数云云……嘿嘿……就像当年发现copy 1+2>3一样令人着迷,其实呢,hh.exe很普通。
在cmd下输入: hh /? 发现屏幕没有任何反应,这是怎么回事?然后又输入:hh ntcmds.chm–在命令行帮助文档中也没发现hh.exe的踪影。那么它什么工具呢,为什么有它的存在,却没有它的说明?
于是去microsoft查找了一番,原来它是HTML Help Workshop命令行工具。那么什么是HTML Help Workshop,嘿嘿,告诉你吧–系统内所有编译的帮助文档(chm)都是出自它手。
看看它的参数:

hh.exe
-800
将Help viewer设为800*600

-title
将chm以窗口800*600显示

-register

tcptrace

官方网站:http://www.tcptrace.org/

简介:

tcptrace is a tool written by Shawn Ostermann at Ohio University, for analysis of TCP dump files. It can take as input the files produced by several popular packet-capture programs, including tcpdump, snoop, etherpeek, HP Net Metrix, and WinDump. tcptrace can produce several different types of output containing information on each connection seen, such as elapsed time, bytes and segments sent and recieved, retransmissions, round trip times, window advertisements, throughput, and more. It can also produce a number of graphs for further analysis.

Elementary TCP socket

Elementary TCP socket

摘自:《Unix Network Programming, Volumn 3》chapter 4.
# include <sys/socket.h>
int socket (int family, int type, int protocol);
Family:协议族(AF_INET, AF_INET6, AF_LOCAL, AF_ROUTE, AF_KEY等)当前linux可支持更多协议族。
AF_KEY:支持加密保护的数据安全
type:协议类型(SOCK_STREAM, SOCK_DGRAM, SOCK_RAW)
protocol:大多数情况下为0,除了raw sockets
AF_UNIX区别于AF_LOCAL??????
Linux支持SOCK_PACKET类型,用于操作2层数据包(datalink)。packet(7)显示,不推荐使用
AF_ 在大多数系统中等同于 PF_
# include <sys/socket.h>
int connect(int sockfd, const struct sockaddr_in *addr, socketlen_t len);
Connect 主要执行tcp的3次握手(to be established),在发出ACK报文后,connect()就返回了。在此之前,不需要客户端执行bind,内核将自动为其指定ip及port
Connect的错误返回值:
1. 服务器不响应(主叫方发出SYN后,75s内无响应)ETIMEOUT
2. 服务器返回RST(服务器的被动端口未打开hard error)ECONNREFUSED
3. 中间路由器响应目标不可达(soft error),也必须等待75s,期间内核继续发送SYN包。EHOSTUNREACH ENETUNREACH

注意:如果connect返回错误,则该sockfd将不再可用,如需再次申请建立连接,必须:close(sockfd); socket(sockfd2); connect(sockfd2);
# include <sys/socket.h>
int bind(int sockfd, const struct sockaddr *myaddr, socklen_t addrlen);
绑定(bind)用于指定本地sockaddr到套接口
服务器通常需要使用bind来绑定特定的port来监听用户的连接申请。例外:
RPC通过使用端口映射(PORT MAP)来查询所用的RPC端口。
如果服务器未使用bind绑定ip,则使用客户端的目的ip填充到sockaddr。也就是说,在客户端连接到服务器之前,sockaddr的值是未确定的。客户端的本地套接口地址是由路由表决定的
port=0
htonl(INADDR_ANY)
注意:posix.1g规定,sockaddr的sin_port和sin_addr必须是以网络字节顺序表示,虽然INADDR_ANY在大多数情况下为0,但从规范上讲,应该使用上面的例子
在<netinet/in.h>中定义的常数”INADDR_xxx”都是主机顺序,应使用htonl()进行转换
在bind()执行完成后,本机的sockaddr必须通过getsockname()获得,bind()本身并不返回该值
# include <sys/socket.h>
int listen(int sockfd, int backlog);做两件事:
1. 将无连接的sockfd转为被动套接口(passive socket),内核将能接受指向sockfd的连接请求。
2. 将该套接口的连接队列置为backlog
内核为每个监听套接口维护2个队列:incomplete和complete
incomplete队列是指,没有完成3次握手的队列。
只有在accept()调用返回后,一个处于complete queue的entry才被清除。而且在此之前所获得的有效数据已保存在TCP接收缓存中
一般系统对backlog的值都有上限,backlog不要设为0(各个系统的实现不一致)。
linux的backlog可以设置为0,表示不限制连接数。但是这含有bug
Linux下的backlog默认为1024
传统上,backlog表示2个队列的和;
linux2.2以后,backlog设为完成队列的值,未完成队列的值由内核管理,通过tcp_max_sys_backlog (sysctl)指定。(这是为了放置网络上的syn攻击塞满早期的整个backlog)

# include <sys/socket.h>
int accept(int sockfd, struct sockaddr *cliaddr, socklen_t * addrlen);
返回客户端sockaddr
一般listened socket存在于整个服务器进程中,connected socket 存在于每个子进程。
只有超级用户才有权限绑定1-1024口。
fork()后子进程继承父进程sockfd,子进程exec后,如果FD_CLOEXEC为0(默认),则sockfd不会关闭。可以用fcntl()修改。
在子进程exec后,唯一获得sockaddr的函数是getsockname(), getpeername()
iterative server
concurrent server
调用close(sockfd)后: (counter == 0) ? shutdown(sockfd) : (counter-1)
常用并行服务器模型:
Socket();
Bind();
Listen();
While (1) {
Accept();
Pid=Fork();
If (pid==0) { //child process
Close(listenfd);
Do sth;
Close(connfd);
}
If (pid>0) { //parent process
Close(connfd);
}
}
注意:以上的父进程如果省略close(connfd),后果:
1. 父进程的套接口描述符将越来越大,直到OPEN_MAX
2. 子进程并没有发送FIN,连接依然存在。父进程的连接数一直增大到backlog后,不再接受任何连接
close()进行的操作:(如果counter为0)

1.关闭socket的读、写端
2.发送send buffer中的数据,并且发送FIN
3.并且不会等待对端返回ACK而直接返回。(见p188,figure7.6)
可以通过使用shutdown(),SO_LINGER参数来更改。具体区别见p191,figure7.10
# include <sys/socket.h>
int getsockname(int sockfd, struct sockaddr *addr, socklen_t *addlen); //返回本地sockaddr
int getpeername(int sockfd, struct sockaddr *addr, socklen_t *addlen); //返回对端sockaddr
由上可以猜想:sockfd所关联的结构中,必然包括本地sockaddr和对端sockaddr。

关于文件数据库

文件数据库
文件数据库又叫嵌入式数据库,将整个数据库的内容保存在单个索引文件中,以便于数据库的发布。
文件数据库的3个重要特征(相对于传统数据库)
1. 数据操作接口
SQL92标准,不管是传统数据库,还是文件数据库,都必须支持SQL92标准。
2. 数据保存格式
传统数据库(DB2, Oracle, SQL server等)数据保存的方式各异。
文件数据库将数据保存在单一文件中。
3. API支持
传统数据库都支持ODBCJDBC
某些文件数据库不支持ODBCJDBCsqlite都不支持,Berkeley DBODBCJDBC支持,Firdbird有第三方的ODBC驱动)。
 
 
文件数据库与传统数据库的比较
优势: 由于数据保存在单一文件中,数据库的部署和发布都比较简单,适用于内嵌在应用程序中。
            数据量不是太大时,速度比传统数据库要快。
缺点: 由于数据保存在单一文件中,数据库打开时,该文件会被整个load到内存,应此数据库不能过大(100M以内,个人测试)。
 
各种文件数据库的比较
Sqlite:  老牌的文件数据库,完全免费 ( public domain ),使用方便,无须任何配置,下载源代码编译成库或者直接编译到应用程序都可以(250K,C代码)。支持事务机制和blob数据类型。http://www.sqlite.org/
Berkerley DB: 更老牌的文件数据库,最稳定的数据库,完全可以取代大部分传统client/server数据库的应用场合;支持xml(代价是30M硬盘空间)。缺点是配置和使用比较复杂,不太适合小项目。
Firbird:与sqlite比较类似,有C#支持。某些发布版本不能build, 很久没有关注了。
Access:一般不考虑
 
Sqlite简单介绍
个人比较喜欢sqlite, 使用最方便,唯一的准备工作是下载250K的源;而且作者很热心,有问必答。
以下演示一下使用sqlite的步骤,先创建一个数据库,然后查询其中的内容。2个重要结构体和5个主要函数:
sqlite3               *pdb, 数据库句柄,跟文件句柄FILE很类似
sqlite3_stmt      *stmt, 这个相当于ODBCCommand对象,用于保存编译好的SQL语句
 
sqlite3_open(),   打开数据库
sqlite3_exec(),   执行非查询的sql语句
sqlite3_prepare(), 准备sql语句,执行select语句或者要使用parameter bind时,用这个函数(封装了sqlite3_exec.
Sqlite3_step(), 在调用sqlite3_prepare后,使用这个函数在记录集中移动。
Sqlite3_close(), 关闭数据库文件
 
还有一系列的函数,用于从记录集字段中获取数据,如
sqlite3_column_text(), text类型的数据。
sqlite3_column_blob(),取blob类型的数据
sqlite3_column_int(), int类型的数据
 
实例代码如下,
附件工程可直接编译,例子使用了blob数据类型。
#include "sqlite3.h"                                //包含一个头文件就可以使用所以sqlite的接口了
#include "stdlib.h"
#include "stdio.h"
#include "string.h"
 
#pragma comment(lib, "sqlite.lib")           //我把sqlite编译成了一个静态的lib文件。
 
void       createdb();
void       querydb();
 
int         main()
{
            createdb();
            querydb();
 
            return 0;
}
 
void       createdb()
{
            int                     ret;
            sqlite3               *pdb = 0;
            sqlite3_stmt      *stmt = 0;
            char                  *error = 0;
            char                  *sql = "insert into table1 values(‘value11’,:aaa)";
            int                     index;
            static void          *value = "asdfadsfasdfjasdfjaksdfaskjdfakdsfaksfja";
 
            ret = sqlite3_open("db1.sdb", &pdb);                    //打开数据库,跟打开文本文件一样
            if( ret != SQLITE_OK )
                        return;
            ret = sqlite3_exec(pdb, "create table table1(col1 char(20), col2 BLOB)", 0,0, &error );
            if( ret != SQLITE_OK )
                        return;
 
            ret = sqlite3_prepare(pdb, sql,strlen(sql), &stmt, &error);
            if( ret != SQLITE_OK )
                        return;
 
            index = sqlite3_bind_parameter_index(stmt, ":aaa");
 
            ret = sqlite3_bind_blob(stmt, index, value, strlen(value), SQLITE_STATIC);
            if( ret != SQLITE_OK )
                        return;
 
            ret = sqlite3_step(stmt);
           
            if( ret != SQLITE_DONE )
                        return;
 
            sqlite3_close(pdb);        
}
 
void       querydb()
{
            int                     ret;
            sqlite3   *pdb = 0;
            sqlite3_stmt      *pstmt = 0;
            char      *error = 0;
            char      *sql = "select * from table1";
            int                     len;
            int                     i;
            char      *name;
            void       *value;
 
            ret = sqlite3_open("db1.sdb", &pdb);
            if( ret != SQLITE_OK )
                        return;
 
            ret = sqlite3_prepare(pdb, sql, strlen(sql), &pstmt, &error);
            if( ret != SQLITE_OK )
                        return;
 
            while( 1 )
            {
                        ret = sqlite3_step(pstmt);
                        if( ret != SQLITE_ROW )
                                    break;
 
                        name = sqlite3_column_text(pstmt, 0);
                        value = sqlite3_column_blob(pstmt, 1);
                        len = sqlite3_column_bytes(pstmt,1 );
            }
}

vim 编码设置

vim,编辑器之王。

一般的,vim打开中文文件时会出现乱码,原因比较复杂,不罗嗦了。直接讲解决办法

set fileencoding=gb18030
set fileencodings=utf-8,gb18030,utf-16,big5

想看这样设置的原因吗?请继续。下文在网络中广泛流传

vim里面的编码主要跟三个参数有关:enc(encoding), fenc(fileencoding)和fencs(fileencodings)

其中fenc是当前文件的编码,也就是说,一个在vim里面已经正确显示了的文件(前提是你的系统环境跟你的enc设置匹配),你可以通过改变 fenc后再w来将此文件存成不同的编码。比如说,我:set fenc=utf-8然后:w就把文件存成utf-8的了,:set fenc=gb18030再:w就把文件存成gb18030的了。这个值对于打开文件的时候是否能够正确地解码没有任何关系。

fencs就是用来在打开文件的时候进行解码的猜测列表。文件编码没有百分百正确的判断方法,所以vim只能猜测文件编码。比如我的vimrc里面这个的设置是

set fileencodings=utf-8,gb18030,utf-16,big5

所以我的vim每打开一个文件,先尝试用utf-8进行解码,如果用utf-8解码到了一半出错(所谓出错的意思是某个地方无法用utf-8正确地解码),那么就从头来用gb18030重新尝试解码,如果gb18030又出错(注意gb18030并不是像utf-8似的规则编码,所以所谓的出错只是说某个编码没有对应的有意义的字,比如0),就尝试用utf-16,仍然出错就尝试用big5。这一趟下来,如果中间的某次解码从头到尾都没有出错,那么 vim就认为这个文件是这个编码的,不会再进行后面的尝试了。这个时候,fenc的值就会被设为vim最后采用的编码值,可以用:set fenc?来查看具体是什么。

当然这个也是有可能出错的,比如你的文件是gb18030编码的,但是实际上只有一两个字符是中文,那么有可能他们正好也能被utf-8解码,那么这个文件就会被误认为是utf-8的导致错误解码。

至于enc,其作用基本只是显示。不管最后的文件是什么编码的,vim都会将其转换为当前系统编码来进行处理,这样才能在当前系统里面正确地显示出来,因此enc就是干这个的。在windows下面,enc默认是cp936,这也就是中文windows的默认编码,所以enc是不需要改的。在 linux下,随着你的系统locale可能设为zh_CN.gb18030或者zh_CN.utf-8,你的enc要对应的设为gb18030或者 utf-8(或者gbk之类的)。

最后再来说一下新建空文件的默认编码。看文档好像说会采用fencs里面的第一个编码作为新建文件的默认编码。但是这里有一个问题,就是fencs 的顺序跟解码成功率有很大关系,根据我的经验utf-8在前比gb18030在前成功率要高一些,那么如果我新建文件默认想让它是gb18030编码怎么办?一个方法是每次新建文件后都:set fenc=gb18030一下,不过我发现在vimrc里面设置fenc=gb18030也能达到这个效果。

另外,在ubuntu中文论坛还有人提出了这样的办法,直接就配置了

所有代码直接粘贴到终端运行即可!
安装程序
代码:
sudo apt-get install vim-gtk vim-doc cscope

创建启动项
代码:

cat > /usr/share/applications/gvim.desktop << "EOF"
[Desktop Entry]
Name=Gvim
Comment[zh_CN]=Gvim编辑器
Exec=gvim
Icon=/usr/share/pixmaps/gnome-word.png
Terminal=false
X-MultipleArgs=false
Type=Application
Categories=Application;Development;
Encoding=UTF-8
StartupNotify=true
EOF

locale为zh_CN.utf8的配置文件
代码:

cat > $HOME/.vimrc << "EOF"
"===========================================================================
" 项目: gvim 配置文件
" 作者: yonsan [QQ:82555472]
" 安装: sudo apt-get install vim-gtk
" 用法: 将本文件(.vimrc)拷贝到$HOME/
"===========================================================================

" 使用 murphy 调色板
colo murphy
" 设置用于GUI图形用户界面的字体列表。
set guifont=SimSun 10
"
set nocompatible
" 设定文件浏览器目录为当前目录
set bsdir=buffer
set autochdir
" 设置编码
set enc=utf-8
" 设置文件编码
set fenc=utf-8
" 设置文件编码检测类型及支持格式
set fencs=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936
" 指定菜单语言
set langmenu=zh_CN.UTF-8
source $VIMRUNTIME/delmenu.vim
source $VIMRUNTIME/menu.vim
" 设置语法高亮度
set syn=cpp
"显示行号
set nu!
" 查找结果高亮度显示
set hlsearch
" tab宽度
set tabstop=4
set cindent shiftwidth=4
set autoindent shiftwidth=4
" C/C++注释
set comments=://
" 修正自动C式样注释功能 <2005/07/16>
set comments=s1:/*,mb:*,ex0:/
" 增强检索功能
set tags=./tags,./../tags,./**/tags
" 保存文件格式
set fileformats=unix,dos
" 键盘操作
map gk
map gj
" 命令行高度
set cmdheight=1
" 使用cscope
if has("cscope")
set csprg=/usr/bin/cscope
set csto=0
set cst
set nocsverb
" add any database in current directory
if filereadable("cscope.out")
cs add cscope.out
" else add database pointed to by environment
elseif $CSCOPE_DB != ""
cs add $CSCOPE_DB
endif
set csverb
endi
" 中文帮助
if version > 603
set helplang=cn
endi
EOF

locale为zh_CN.gbk的配置文件
代码:

cat > $HOME/.vimrc << "EOF"
"===========================================================================
" 项目: gvim 配置文件
" 作者: yonsan [QQ:82555472]
" 安装: sudo apt-get install vim-gtk
" 用法: 将本文件(.vimrc)拷贝到$HOME/
"===========================================================================

" 使用 murphy 调色板
colo murphy
" 设置用于GUI图形用户界面的字体列表。
set guifont=SimSun 10
"
set nocompatible
" 设定文件浏览器目录为当前目录
set bsdir=buffer
set autochdir
" 设置编码
set enc=chinese
" 设置文件编码
set fenc=chinese
" 设置文件编码检测类型及支持格式
set fencs=gbk,utf-8,ucs-bom,gb18030,gb2312,cp936
" 指定菜单语言
set langmenu=zh_CN.GBK
source $VIMRUNTIME/delmenu.vim
source $VIMRUNTIME/menu.vim
" 设置语法高亮度
set syn=cpp
"显示行号
set nu!
" 查找结果高亮度显示
set hlsearch
" tab宽度
set tabstop=4
set cindent shiftwidth=4
set autoindent shiftwidth=4
" C/C++注释
set comments=://
" 修正自动C式样注释功能 <2005/07/16>
set comments=s1:/*,mb:*,ex0:/
" 增强检索功能
set tags=./tags,./../tags,./**/tags
" 保存文件格式
set fileformats=unix,dos
" 键盘操作
map gk
map gj
" 命令行高度
set cmdheight=1
" 使用cscope
if has("cscope")
set csprg=/usr/bin/cscope
set csto=0
set cst
set nocsverb
" add any database in current directory
if filereadable("cscope.out")
cs add cscope.out
" else add database pointed to by environment
elseif $CSCOPE_DB != ""
cs add $CSCOPE_DB
endif
set csverb
endi
" 中文帮助
if version > 603
set helplang=cn
endi
EOF