linux下解决大量的TIME_WAIT

vi /etc/sysctl.conf
编辑/etc/sysctl.conf文件,增加三行:

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

说明:
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
再执行以下命令,让修改结果立即生效:

/sbin/sysctl -p

用以下语句看了一下服务器的TCP状态:

netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

返回结果如下:
ESTABLISHED 1423
FIN_WAIT1 1
FIN_WAIT2 262
SYN_SENT 1
TIME_WAIT 962
效果:处于TIME_WAIT状态的sockets从原来的10000多减少到1000左右。处于SYN_RECV等待处理状态的sockets为0,原来的为50~300。

通过上面的设置以后,你可能会发现一个新的问题,就是netstat时可能会出现这样的警告:

warning, got duplicate tcp line

这正是上面允许tcp复用产生的警告,不过这不算是什么问题,总比不允许复用而给服务器带来很大的负载合算的多

尽管如此,还是有解决办法的:
1、 安装rpm包:
[root@root2 opt]# rpm -Uvh net-tools-1.60-62.1.x86_64.rpm
Preparing…                ########################################### [100%]
   1:net-tools              ########################################### [100%]
[root@root2 opt]#

对于下载的是源码的rpm则需要使用以下方法安装:

2、 安装rpm源码包方法:
a)         安装src.rpm:
# [root@root1 opt]# rpm -i net-tools-1.60-62.1.src.rpm
……
b)        制作rpm安装包:
[root@root1 opt]# cd /usr/src/redhat/SPECS/
[root@root1 SPECS]# rpmbuild -bb net-tools.spec
c)        rpm包的升级安装:
[root@root1 SPECS]# pwd
/usr/src/redhat/SPECS
[root@root1 SPECS]# cd ../RPMS/x86_64/
[root@root1 x86_64]# rpm -Uvh net-tools-1.60-62.1.x86_64.rpm

3、 再使用netstat来检查时系统正常:

netstat 命令详解

NAME
netstat – Print network connections, routing tables, interface statistics, masquerade connections, and
multicast memberships

SYNOPSIS
netstat [address_family_options] [–tcp|-t] [–udp|-u] [–raw|-w] [–listening|-l] [–all|-a]
[–numeric|-n] [–numeric-hosts][–numeric-ports][–numeric-ports] [–symbolic|-N]
[–extend|-e[–extend|-e]] [–timers|-o] [–program|-p] [–verbose|-v] [–continuous|-c] [delay]

netstat {–route|-r} [address_family_options] [–extend|-e[–extend|-e]] [–verbose|-v] [–numeric|-n]
[–numeric-hosts][–numeric-ports][–numeric-ports] [–continuous|-c] [delay]

netstat {–interfaces|-i} [iface] [–all|-a] [–extend|-e[–extend|-e]] [–verbose|-v] [–program|-p]
[–numeric|-n] [–numeric-hosts][–numeric-ports][–numeric-ports] [–continuous|-c] [delay]

netstat {–groups|-g} [–numeric|-n] [–numeric-hosts][–numeric-ports][–numeric-ports] [–continu-
ous|-c] [delay]

netstat {–masquerade|-M} [–extend|-e] [–numeric|-n] [–numeric-hosts][–numeric-ports][–numeric-
ports] [–continuous|-c] [delay]

netstat {–statistics|-s} [–tcp|-t] [–udp|-u] [–raw|-w] [delay]

netstat {–version|-V}

netstat {–help|-h}

address_family_options:

[–protocol={inet,unix,ipx,ax25,netrom,ddp}[,…]] [–unix|-x] [–inet|–ip] [–ax25] [–ipx]
[–netrom] [–ddp]

中文解释:
-t 显示tcp 连接
-u 显示udp连接
-x 显示unix域协议的连接
–ip 显示ip协议的连接,是和unix域协议相对而言的,但和-x选项不冲突,可同时使用,包括了tcp协议的连接和udp协议的连接
-l 显示listen状态的连接
-a 显示所有状态的连接,是从状态上来讲的all,默认只显示established状态的连接
-p 显示端口对应的程序(program)和pid
-n 以数字的形式显示主机和端口,可以只针对主机名或端口号,–numeric-hosts 或 –numeric-ports
-s 统计网络的状态,此时也可以用-t指定只统计tcp的 -u只统计udp的
delay 参数可以指定延迟多长时间重新执行该命令
-V 显示netstat的版本号

 

注:
1. 这里的连接包括listen ,-t -u可同时使用
2. ip协议有tcp udp两种类型,unix域协议也有stream和dgram 两种类型
3. 上述翻译仅供参考,本人E文有限,不要轻信啊

 

下面说几种 netstat的用法:
1. 查看服务器的TCP状态:
netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
ESTABLISHED 1423
FIN_WAIT1 1
FIN_WAIT2 262
SYN_SENT 1
TIME_WAIT 962

2.netstat中tcp连接状态描述:
状态 描述
CLOSED: 无连接是活动的或正在进行
LISTEN: 服务器在等待进入呼叫
SYN_RECV: 一个连接请求已经到达,等待确认
SYN_SENT: 应用已经开始,打开一个连接
ESTABLISHED: 正常数据传输状态
FIN_WAIT1: 应用说它已经完成
FIN_WAIT2: 另一边已同意释放
ITMED_WAIT: 等待所有分组死掉
CLOSING: 两边同时尝试关闭
TIME_WAIT: 另一边已初始化一个释放
LAST_ACK: 等待所有分组死掉

3. netstat 输出的字段的解释:
 OUTPUT
   Active Internet connections (TCP, UDP, raw)
   Proto
       The protocol (tcp, udp, raw) used by the socket.

   Recv-Q
       The count of bytes not copied by the user program connected to this socket.
       // 是接受队列里的数据,就是还没传给上层的应用程序的

   Send-Q
       The count of bytes not acknowledged by the remote host.
      // 是发送出去,但是还没有被确认的数据

   Local Address
       Address and port number of the local end of the socket.  Unless the –numeric (-n) option is specified, the  socket
       address  is  resolved  to  its canonical host name (FQDN), and the port number is translated into the corresponding
       service name.

   Foreign Address
       Address and port number of the remote end of the socket.  Analogous to "Local Address."

   State
       The state of the socket. Since there are no states in raw mode and usually no states used in UDP, this  column  may
       be left blank. Normally this can be one of several values:

       ESTABLISHED
              The socket has an established connection.

       SYN_SENT
              The socket is actively attempting to establish a connection.

       SYN_RECV
              A connection request has been received from the network.

       FIN_WAIT1
              The socket is closed, and the connection is shutting down.

       FIN_WAIT2
              Connection is closed, and the socket is waiting for a shutdown from the remote end.

       TIME_WAIT
              The socket is waiting after close to handle packets still in the network.

       CLOSED The socket is not being used.

       CLOSE_WAIT
              The remote end has shut down, waiting for the socket to close.

       LAST_ACK
              The remote end has shut down, and the socket is closed. Waiting for acknowledgement.

       LISTEN The  socket  is  listening for incoming connections.  Such sockets are not included in the output unless you
              specify the –listening (-l) or –all (-a) option.

       CLOSING
              Both sockets are shut down but we still don’t have all our data sent.

       UNKNOWN
              The state of the socket is unknown.

   User
       The username or the user id (UID) of the owner of the socket.

   PID/Program name
       Slash-separated pair of the process id (PID) and process name of the  process  that  owns  the  socket.   –program
       causes  this column to be included.  You will also need superuser privileges to see this information on sockets you
       don’t own.  This identification information is not yet available for IPX sockets.

   Timer
       (this needs to be written)

   Active UNIX domain Sockets
   Proto
       The protocol (usually unix) used by the socket.

   RefCnt
       The reference count (i.e. attached processes via this socket).

   Flags
       The flags displayed is SO_ACCEPTON (displayed as ACC), SO_WAITDATA (W) or SO_NOSPACE (N).  SO_ACCECPTON is used  on
       unconnected  sockets if their corresponding processes are waiting for a connect request. The other flags are not of
       normal interest.

   Type
       There are several types of socket access:

       SOCK_DGRAM
              The socket is used in Datagram (connectionless) mode.

       SOCK_STREAM
              This is a stream (connection) socket.

       SOCK_RAW
              The socket is used as a raw socket.

       SOCK_RDM
              This one serves reliably-delivered messages.

       SOCK_SEQPACKET
              This is a sequential packet socket.

       SOCK_PACKET
              Raw interface access socket.

       UNKNOWN
              Who ever knows what the future will bring us – just fill in here 🙂

   State
       This field will contain one of the following Keywords:

       FREE   The socket is not allocated

       LISTENING
              The socket is listening for a connection request.  Such sockets are only included in the output if you spec-
              ify the –listening (-l) or –all (-a) option.

       CONNECTING
              The socket is about to establish a connection.

       CONNECTED
              The socket is connected.

       DISCONNECTING
              The socket is disconnecting.

       (empty)
              The socket is not connected to another one.

       UNKNOWN
              This state should never happen.

   PID/Program name
       Process  ID (PID) and process name of the process that has the socket open.  More info available in Active Internet
       connections section written above.

   Path
       This is the path name as which the corresponding processes attached to the socket.

Lighttpd+Squid+Apache搭建高效率Web服务器

架构原理
Apache通常是开源界的首选Web服务器,因为它的强大和可靠,已经具有了品牌效应,可以适用于绝大部分的应用场合。但是它的强大有时候却显得笨重,配置文件得让人望而生畏,高并发情况下效率不太高。而轻量级的Web服务器Lighttpd却是后起之秀,其静态文件的响应能力远高于Apache,据说是Apache的2-3倍。Lighttpd的高性能和易用性,足以打动我们,在它能够胜任的领域,尽量用它。Lighttpd对PHP的支持也很好,还可以通过Fastcgi方式支持其他的语言,比如Python。

毕竟Lighttpd是轻量级的服务器,功能上不能跟Apache比,某些应用无法胜任。比如Lighttpd还不支持缓存,而现在的绝大部分站点都是用程序生成动态内容,没有缓存的话即使程序的效率再高也很难满足大访问量的需求,而且让程序不停的去做同一件事情也实在没有意义。首先,Web程序是需要做缓存处理的,即把反复使用的数据做缓存。即使这样也还不够,单单是启动Web处理程序的代价就不少,缓存最后生成的静态页面是必不可少的。而做这个是 Squid的强项,它本是做代理的,支持高效的缓存,可以用来给站点做反向代理加速。把Squid放在Apache或者Lighttpd的前端来缓存 Web服务器生成的动态内容,而Web应用程序只需要适当地设置页面实效时间即可。

即使是大部分内容动态生成的网站,仍免不了会有一些静态元素,比如图片、JS脚本、CSS等等,将Squid放在Apache或者Lighttp前端后,反而会使性能下降,毕竟处理HTTP请求是Web服务器的强项。而且已经存在于文件系统中的静态内容再在Squid中缓存一下,浪费内存和硬盘空间。因此可以考虑将Lighttpd再放在Squid的前面,构成 Lighttpd+Squid+Apache的一条处理链,Lighttpd在最前面,专门用来处理静态内容的请求,把动态内容请求通过proxy模块转发给Squid,如果Squid中有该请求的内容且没有过期,则直接返回给Lighttpd。新请求或者过期的页面请求交由Apache中Web程序来处理。经过Lighttpd和Squid的两级过滤,Apache需要处理的请求将大大减少,减少了Web应用程序的压力。同时这样的构架,便于把不同的处理分散到多台计算机上进行,由Lighttpd在前面统一把关。

在这种架构下,每一级都是可以进行单独优化的,比如Lighttpd可以采用异步IO方式,Squid可以启用内存来缓存,Apache可以启用MPM 等,并且每一级都可以使用多台机器来均衡负载,伸缩性很好。

实例讲解
下面以daviesliu.net和rainbud.net域下面的几个站点为例来介绍一下此方案的具体做法。daviesliu.net域下有几个用 mod_python实现的blog站点,几个php的站点,一个mod_python的小程序,以后可能还会架设几个PHP和Django的站点。而服务器非常弱,CPU为Celeron 500,内存为PC 100 384M,因此比较关注Web服务器的效率。这几个站点都是采用虚拟主机方式,开在同一台机器的同一个端口上。

Lighttpd服务于80端口,Squid运行在3128端口,Apache运行在81端口。

Lighttpd的配置
多个域名采用/var/www/domain/subdomain 的目录结构,用evhost模块配置document-root如下:

evhost.path-pattern        =  var.basedir + “/%0/%3/”

FtpSearch中有Perl脚本,需要启用CGI支持,它是用来做ftp站内搜索的,缓存的意义不大,直接由lighttpd的mod_cgi处理:

$HTTP[“url”] =~ “^/cgi-bin/” { # only allow cgi’s in this directory
    dir-listing.activate = “disable”    # disable directory listings
    cgi.assign = ( “.pl”   =>  “/usr/bin/perl”, “.cgi”  =>  “/usr/bin/perl” )
}

bbs使用的是phpBB,访问量不大,可以放在lighttpd(fastcgi)或者apache(mod_php)下,暂时使用 lighttpd,设置所有.php的页面请求有fastcgi处理:

fastcgi.server = ( “.php” =>  ( (  “host”  => “127.0.0.1”, “port”=> 1026,  “bin-path”  =>  “/usr/bin/php-cgi”  )  ) )

blog.daviesliu.net 和 blog.rainbud.net 是用mod_python编写的blogxp程序,所有静态内容都有扩展名,而动态内容没有扩展名。blogxp是用python程序生成XML格式的数据再交由mod_xslt转换成HTML页面,只能放在Apache下运行。该站点采用典型Lighttpd+Squid+Apache方式处理:

$HTTP[“host”] =~ “^blog” {
    $HTTP[“url”] !~ “\.” {      
        proxy.server = ( “” => ( “localhost” => ( “host”=> “127.0.0.1”, “port”=> 3128 ) ) )  #3128端口为
    }
}

share中有静态页面,也有用mod_python处理的请求,在/cgi/下:

$HTTP[“host”] =~ “^share” {
    proxy.server = (
        “/cgi” => ( “localhost” => ( “host”=> “127.0.0.1”, “port”=> 3128 )  )  
    )
}

Squid的配置
只允许本地访问:

http_port   3128
http_access allow localhost
http_access deny all

启用反向代理:

httpd_accel_host 127.0.0.1
httpd_accel_port 81                   #apache的端口
httpd_accel_single_host on
httpd_accel_with_proxy on          #启用缓存
httpd_accel_uses_host_header on #启用虚拟主机支持

此方向代理支持该主机上的所有域名。

Apache的配置
配置/etc/conf.d/apache2,让其加载mod_python、mod_xslt、mod_php模块:

APACHE2_OPTS=”-D PYTHON -D XSLT -D PHP5″

所有网站的根目录:


   AllowOverride All     #允许.htaccess覆盖
    Order allow,deny
    Allow from all

基于域名的虚拟主机:


ServerName blog.daviesliu.net
DocumentRoot /var/www/daviesliu.net/blog

这里明显没有lighttpd的evhost配置方便。

blog.daviesliu.net下的.htaccess设置(便于开发,不用重启Apache):

SetHandler mod_python
PythonHandler blogxp.publisher
PythonDebug On
PythonAutoReload On


    SetHandler None        #静态文件直接由Apache处理


    AddType text/xsl .xsl  #防止对xsl文件进行转化
    AddOutputFilterByType mod_xslt text/xml
    XSLTCache off
    XSLTProcess on

Header set Pragma “cache”
Header set Cache-Control “cache”

在blogxp.publisher里面,还需要设置返回的文档类型和过期时间:

    req.content_type = “text/xml”
    req.headers_out[‘Expires’] = formatdate( time.time() + 60 * 5 )

经过这样的配置,所有站点都可以通过80、3128、81三个端口进行正常访问,80端口用作对外的访问,以减少负荷。81端口可以用作开发时的调试,没有缓存的困扰。

性能测试
由于时间和精力有限,下面只用ab2做一个并不规范的性能对比测试(每项都测多次取平均),评价指标为每秒钟的请求数。
测试命令,以测试lighttpd上并发10个请求 scripts/prototype.js 为例:

ab2 -n 1000 -c 10 http://blog.daviesliu.net:80/scripts/prototype.js

静态内容:prototype.js (27kB)

Con
Lighttpd(:80)
Squid(:3128)
Apache(:81)

1
380
210
240

10
410
215
240

100
380
160
230

可见在静态内容上,Lighttpd表现强劲,而Squid在没有配内存缓存的情况下比另两个Web服务器的性能要差些。

动态页面:/rss (31kB)

Con
Lighttpd(:80)
Squid(:3128)
Apache(:81)

1
103
210
6.17

10
110
200
6.04

100
100
100
6.24

在动态内容上,Squid的作用非常明显,而Lighttpd受限于Squid的效率,并且还要低一大截。如果是有多台Squid来做均衡的话,Lighttpd的功效才能发挥出来。
在单机且静态内容很少的情况下,可以不用Lighttpd而将Squid置于最前面。

VIM快捷键

VIM快捷键:

光标移动:
四个方向
   k
h 0 l
   j

  ctrl+f, ctrl+b                 向下翻页,向上翻页
  ctrl+d, ctrl+u                 向下半翻页,向上半翻页
  $    移动行尾
  0    移动行首
  w    移动下一个词
  b    移动到上一个词
  gg   跳到文档的开始处
  G    跳到文档的末尾
  %    跳到匹配的括号处("{ }""[]""()")
  ctrl+i,tab                  跳到下一个jump point
  ctrl+o   跳到上一个jump point

  23gg, 23G, :23 跳到第23行
  ctrl+i, tab  跳到下一个跳点(Jump Point)
  ctrl+o  跳到上一个跳点

查找替换:
#  从光标向后查找整个关键词
* 从光标向前查找整个关键词
g# 从光标向后查找关键词
g* 从光标向前查找关键词
fx,tx,Fx,Tx    在当前行查找字符

查找替换例子:
: s/SEARCH/REPLACE
: s/If/Since          将下一个"If"换成"Since"
: %s/If/Since       将全部"If"换成"Since"
: 1,3 s/If/Since/g  只对1,3行有效,如无前缀,只对当前行有效

表达式:
. 代替一个字符
* 表示一个或多个字符的重复

/d.*an 可以匹配 dan, divan, debian

单词边界:
指定单词边界: \< 和 \>
如: /\<d[a-z]*an\>    匹配以d开始,中间包含任意个小写字母,以an结束的单词

/\$[0-9]*\.[0-9][0-9] 匹配查找 $XX…X.XX这要的数字,有且只有两位小数的

常用的编辑命令:
a, i   在光标后插入, 在光标前插入
dd  删除一行
cc,S  删除一行后进入insert模式
dw  删除一个单词
cw  删除一个单词后进入insert模式
x,dl  删除一个字符
s,cl  删除一个字符后进入insert模式

p  粘贴
xp  交换两个字符
ddp  交换两行

y  复制
yy  复制一行
u  撤消
ctrl+r                 重做
.  重复上一次修改

ctrl+r                重做
.  重复上一次修改

划分窗格:
:split/vsplit                分隔一个窗口
:new/vnew 创建一个新的窗口
:sf {filename}            在新窗口中打开filename
:close  关闭当前窗口
:only  关闭除当前窗口外所有窗口
:ctrl-w h      到左面的窗口
:ctrl-w j      到下面的窗口
:ctrl-w k      到上面的窗口
:ctrl-w l      到右面的窗口
:ctrl-w t      到顶部的窗口
:ctrl-w b      到底部的窗口

重复操作(宏操作):
q[a-z]  开始记录操作,记录到寄存器[a-z]中
q  停止记录操作
@[a-z]  执行寄存器中的操作
@@  执行最近寄存器中记录的操作
例子: 一个缓冲区有两行:
  sys/types.h
  stdio.h
–>要改为:
  #include <sys/types.h>
  #include <stdio.h>
操作如下:
  qa #开始记录
  ^ #移动行首
  i #进入insert模式
  #include < #输入内容
  $ #移动行尾
  i #进入insert模式
  > #输入内容
  q #停止记录

  移动另一行:
  @a即可执行相同的操作

Visual Mode操作:
ctrl+v                 进入基于块的可视模式
v  进入基于字符的可视模式
V  进入基于行的可视模式

c  删除选定的块
I{string}<ESC> 选定块后按大写的I,输入字符串,再按ESC,可以在块内每一行插入相同的内容

跳到声明处:
[[  向前跳到顶格的第一个"{"
[]  向前跳到顶格的第一个"}"
][  向后跳到顶格的第一个"{"
]]  向后跳到顶格的第一个"}"
[{  跳到本代码块(由{}界定)的开头
[}  跳到本代码块的结尾

Shell:
:ctrl+z/suspend 在shell下是挂起vim; gui下是最小化窗口
:!{command} 执行shell命令
:shell  开一个新的shell

保存vim状态(挂起?):
:mksession session.vim      保存当前vim状态
:source session.vim         回复vim状态
vim -S session.vim         启动vim时恢复session

高效率移动

在插入模式之外

基本上来说,你应该尽可能少的呆在插入模式里面,因为在插入模式里面VIM就像一个“哑巴”编辑器一样。很多新手都会一直呆在插入模式里面,因为这样易于
使用。但VIM的强大之处在于他的命令行模式!你会发现,在你越来越了解VIM之后,你就会花越来越少的时间使用插入模式了。

使用 h,j,k,l

使用VIM高效率编辑的第一步,就是放弃使用箭头键。使用VIM,你就不用频繁的在箭头键和字母键之间移来移去了,这会节省你很多时间。当你在命令模式
时,你可以用h,j,k,l来分别实现左,下,上,右箭头的功能。一开始可能需要适应一下,但一旦习惯这种方式,你就会发现这样操作的高效之处了。

在你编辑你的电子邮件或者其他有段落的文本时,你可能会发现使用方向键和你预期的效果不一样,有时候可能会一次跳过了很多行。这是因为你的段落在VIM看
来是一个大的长长的行。这时你可以在按h,j,k或者l 之前键入一个g,这样VIM就会按屏幕上面的行如你所愿的移动了。

在当前行里面有效的移动光标

很多编辑器只提供了简单的命令来控制光标的移动(比如左,上,右,下,到行首/尾等)。VIM则提供了很多强大的命令来满足你控制光标的欲望。当光标从一
点移动到另外一点,在这两点之间的文本(包括这两个点)称作被“跨过”,这里的命令也被称作是motion。(简单说明一下,后面会用到这个重要的概念)

这里是常用到的一些命令(motion):

fx:移动光标到当前行的下一个x处。很明显,x可以是任意一个字母,而且你可以使用;来重复你的上一个f命令。

tx:和上面的命令类似,但是是移动到x的左边一个位置。(这真的很有用)

Fx:和fx类似,不过是往回找。

w:光标往前移动一个词。

b: 光标往后移动一个词。

0: 移动光标到当前行首。

^:移动光标到当前行的第一个字母位置。

$: 移动光标到行尾。

):移动光标到下一个句子。

( : 移动光标到上一个句子。

在整个文件里面有效移动光标

VIM有很多命令,可以用来到达文件里面你想到达的地方。下面是一些在文件里面移动的命令:

<C-F>:向下移动一屏。

<C-B>:向上移动一屏。

G:到文件尾

numG:移动光标到指定的行(num)。(比如10G就是到第10行)

gg:到文件首

H:移动光标到屏幕上面

M:移动光标到屏幕中间

L:移动光标到屏幕下面

*:读取光标处的字符串,并且移动光标到它再次出现的地方。

#:和上面的类似,但是是往反方向寻找。

/text:从当前光标处开始搜索字符串text,并且到达text出现的地方。必须使用回车来开始这个搜索命令。如果想重复上次的搜索的话,按n。

?text:和上面类似,但是是反方向。

ma:在当前光标的位置标记一个书签,名字为a。书签名只能是小写字母。你看不见书签的存在,但它确实已经在那里了。

a:到书签a处。注意这个不是单引号,它一般位于大部分键盘的1的左边。

.:到你上次编辑文件的地方。这个命令很有用,而且你不用自己去标记它。

高效的输入

使用关键词自动完成

VIM
有一个非常漂亮的关键词自动完成系统。这表示,你可以输入一个长词的一部分,然后按一下某个键,然后VIM就替你完成了这个长词的输入了。举个例子:你有
一个变量名为 iAmALongAndAwkwardVarName 在你写的代码的某个地方。也许你不想每回都自己一个一个字母的去输入它。

使用关键词自动完成功能,你只需要输入开始几个字母(比如iAmAL),然后按<C-N>(按住Ctrl,再按N)或者<C-P>。如果VIM没有给出你想要的词,基本按,直到你满意为止,VIM会一直循环它找到的匹配的字符串。

聪明的进入插入模式

很多新手进入插入模式都只是用i。这样当然可以进入插入模式,但通常不是那么合适,因为VIM提供了很多进入插入模式的命令。下面是最常用的一些:

i:在当前字符的左边插入

I:在当前行首插入

a:在当前字符的右边插入

A:在当前行尾插入

o:在当前行下面插入一个新行

O:在当前行上面插入一个新行

c{motion}:删除motion命令跨过的字符,并且进入插入模式。比如:c$,这将会删除从光标位置到行尾的字符并且进入插入模式。ct!,这会删除从光标位置到下一个叹号(但不包括),然后进入插入模式。被删除的字符被存在了剪贴板里面,并且可以再粘贴出来。

d{motion}:和上面差不多,但是不进入插入模式。

有效的移动大段的文本

使用可视选择(visual selections)和合适的选择模式

不想最初的VI,VIM允许你高亮(选择)一些文本,并且进行操作。这里有三种可视选择模式:

v:按字符选择。经常使用的模式,所以亲自尝试一下它。

V:按行选择。这在你想拷贝或者移动很多行的文本的时候特别有用。

<C-V>:按块选择。非常强大,只在很少的编辑器中才有这样的功能。你可以选择一个矩形块,并且在这个矩形里面的文本会被高亮。

在选择模式的时候使用上面所述的方向键和命令(motion)。比如,vwww,会高亮光标前面的三个词。Vjj将会高亮当前行以及下面两行。

在可视选择模式下剪切和拷贝

一旦你高亮了选区,你或许想进行一些操作:

d:剪贴选择的内容到剪贴板。

y:拷贝选择的内容到剪贴板。

c:剪贴选择的内容到剪贴板并且进入插入模式。

在非可视选择模式下剪切和拷贝

如果你很清楚的知道你想拷贝或者剪切什么,那你根本就不需要进入可视选择模式。这样也会节省时间:

d{motion}:剪切motion命令跨过的字符到剪贴板。比如,dw会剪切一个词而dfS会将从当前光标到下一个S之间的字符剪切至剪贴板。

y{motion}:和上面类似,不过是拷贝。

c{motion}:和d{motion}类似,不过最后进入插入模式。

dd:剪切当前行。

yy:拷贝当前行。

cc:剪切当前行并且进入插入模式。

D:剪切从光标位置到行尾到剪贴板。

Y:拷贝当前行。

C:和D类似,最后进入插入模式。

x:剪切当前字符到剪贴板。

s:和x类似,不过最后进入插入模式。

粘贴

粘贴很简单,按p。

使用多重剪贴板

很多编辑器都只提供了一个剪贴板。VIM有很多。剪贴板在VIM里面被称为寄存器(Registers)。你可以列出当前定义的所有寄存器名和它们的内容,命令为":reg"。最好使用小写字母来作为寄存器的名称,因为大写的有些被VIM占用了。

使用寄存器的命令为双引号“。

比如:我们要拷贝当前行到寄存器k。你应该按 "kyy。(你也可以使用 V"ky。为什么这样也可以呢?)现在当前行应该已经存在了寄存器k里面直到你又拷贝了一些东西进入寄存器k。现在你可以使用命令 "kp 来粘贴寄存器k里面的内容到你想要的位置。

避免重复

令人惊奇的 . 命令

在VI里面,输入 . (小数点符号),将会重复你给入的上一个命令。比如,你上个命令为 'dw'(删除一个词),VI将会接着再删除一个词。

使用数字

使用数字也是VIM强大的而且很节省时间的重要特性之一。在很多VIM的命令之前都可以使用一个数字,这个数字将会告诉VIM这个命令需要执行几次。比如:

3j 将会把光标向下移动三行。

10dd 将会删除十行。

y3" 将会拷贝从当前光标到第三个出现的引号之间的内容到剪贴板。

数字是扩展motion命令作用域非常有效的方法。

记录宏

有时候,你会发现你自己在文章的每段或者每行都重复相同的一系列动作。VIM允许你记录一个宏来完成你的特殊需要。

qregister:记录宏到寄存器register,这里register是任意的你的寄存器的名字。比如qa,将会记录并且把宏存在寄存器a里面。

q:结束宏的记录。

@register:使用存在寄存器register的宏。比如@a,将会使用存在寄存器a里面的宏。

必须要记住的是,宏只记录了你的系列按键并且重复执行它们。它们不是魔法。因为在VIM里面完成目的的方法有很多,所以有时候你要小心选择命令来记录你的宏。因为它们会在所有你要执行它的地方执行。

用VIM写代码

VIM是一个绝好的编辑器来写代码,因为它有一些特性是专门为程序员而设。这里是一些常用的:

)p:和p的功能差不多,但是它会自动调整被粘贴的文本的缩进去适应当前代码的位置。试一下!

%:匹配花括号,方括号,括号等。在一个括号的上面,然后按%,鼠标就会出现在匹配的另外一半括号处。

>>:缩进所有选择的代码

<<:和上面类似,但是反缩进

gd:到达光标所在处函数或者变量的定义处。

K:在Man里面查找光标当前所在处的词

.c与.cpp文件的一点区别

在编译源文件时,C编译器和C++编译器都会对符号(函数或变量)名作某些修正,但两者采用的修正方法不同,所以两者生成的目标文件不能互相链接。在C++中使用extern “C”可以让C++符号获得C链接特性。由于C++编译器会自动定义__cplusplus宏,所以在C语言头文件中采用这种结构可以保证无论使用何种编译器,生成的目标文件都具有C链接特性,能够与标准C编译器所生成的目标文件相链接。

通常c/c++编译器会根据文件后缀来选择符号修正,所以最好把c的代码放到.c文件中,把c++的代码放到.cpp文件中。

我用VC++6.0创建动态库,做了以下试验。

在test.cpp中输出c函数,如下:

1、新建Win32 Dynamic-Link Library

2、输出函数

[codes=c]extern “C” _declspec(dllexport) void far test();

void far test()

{

}[/codes]

而在test.c中输出c函数,就可以这样,如下:

1、新建Win32 Dynamic-Link Library

2、输出函数

[codes=c]_declspec(dllexport) void far test();

void far test()

{

}[/codes]

GCC 命令行详解

1。gcc包含的c/c++编译器

gcc,cc,c++,程序就用gcc编译,c++程序就用g++编译

2。gcc的基本用法

gcc test.c这样将编译出一个名为a.out的程序

gcc test.c -o test这样将编译出一个名为test的程序,-o参数用来指定生成程序的名

3。为什么会出现undefined reference to ’xxxxx’错误?

首先这是文件名是libm.so,很容易看出,把库文件名的

头lib和尾.so去掉就是库名了。

好了现在我们知道怎么得到库名了,比如我们自已要用到一个第三方提供的库名字叫lib

test.so,那么我们只要把libtest.so拷贝到/usr/lib

里,编译时加上-ltest参数,我们就能用上libtest.so库了(当然要用libtest.so库里

的函数,我们还需要与libtest.so配套的头文件)。

放在/lib和/usr/lib和/usr/local/lib里的库直接用-l参数就能链接了,但如果库文件

没放在这三个目录里,而是放在其他目录里,这时我们

只用-l参数的话,链接还是会出错,出错信息大概是:“/usr/bin/ld: cannot find  

-lxxx”,也就是链接程序ld在那3个目录里找不到

libxxx.so,这时另外一个参数-L就派上用场了,比如常用的X11的库,它放在/usr/X11R

6/lib目录下,我们编译时就要用-L/usr/X11R6/lib –

lX11参数,-L参数跟着的是库文件所在的目录名。再比如我们把libtest.so放在/aaa/bb

b/ccc目录下,那链接参数就是-L/aaa/bbb/ccc -ltest

另外,大部分libxxxx.so只是一个链接,以RH9为例,比如libm.so它链接到/lib/libm.s

o.x,/lib/libm.so.6又链接到/lib/libm-2.3.2.so,

如果没有这样的链接,还是会出错,因为ld只会找libxxxx.so,所以如果你要用到xxxx

库,而只有libxxxx.so.x或者libxxxx-x.x.x.so,做一

个链接就可以了ln -s libxxxx-x.x.x.so libxxxx.so

手工来写链接参数总是很麻烦的,还好很多库开发包提供了生成链接参数的程序,名字

一般叫xxxx-config,一般放在/usr/bin目录下,比如

gtk1.2的链接参数生成程序是gtk-config,执行gtk-config –libs就能得到以下输出”-

L/usr/lib -L/usr/X11R6/lib -lgtk -lgdk -rdynamic  

-lgmodule -lglib -ldl -lXi -lXext -lX11 -lm”,这就是编译一个gtk1.2程序所需的g

tk链接参数,xxx-config除了–libs参数外还有一个参

数是–cflags用来生成头文

件包含目录的,也就是-I参数,在下面我们将会讲到。你可以试试执行gtk-config  

–libs –cflags,看看输出结果。

现在的问题就是怎样用这些输出结果了,最笨的方法就是复制粘贴或者照抄,聪明的办

法是在编译命令行里加入这个xxxx-config --libs --

cflags,比如编译一个gtk程序:gcc gtktest.c gtk-config --libs --cflags这样

就差

不多了。注意不是单引号,而是1键左边那个键。

除了xxx-config以外,现在新的开发包一般都用pkg-config来生成链接参数,使用方法

跟xxx-config类似,但xxx-config是针对特定的开发包

,但pkg-config包含很多开发包的链接参数的生成,用pkg-config --list-all命令可以

列出所支持的所有开发包,pkg-config的用法就是pkg

-config pagName --libs --cflags,其中pagName是包名,是pkg-config--list-all里

列出名单中的一个,比如gtk1.2的名字就是gtk+,pkg-

config gtk+ --libs --cflags的作用跟gtk-config --libs --cflags是一样的。比如:

gcc gtktest.c pkg-config gtk+ –libs –cflags

5。-include和-I参数

-include用来包含头文件,但一般情况下包含头文件都在源码里用#include xxxxxx实现

,-include参数很少用。-I参数是用来指定头文件目录

,/usr/include目录一般是不用指定的,gcc知道去那里找,但是如果头文件不在/usr/i

nclude里我们就要用-I参数指定了,比如头文件放

在/myinclude目录里,那编译命令行就要加上-I/myinclude参数了,如果不加你会得到

一个"xxxx.h: No such file or directory"的错误。-I

参数可以用相对路径,比如头文件在当前目录,可以用-I.来指定。上面我们提到的--cf

lags参数就是用来生成-I参数的。

6。-O参数

这是一个程序优化参数,一般用-O2就是,用来优化程序用的,比如gcc test.c -O2,优

化得到的程序比没优化的要小,执行速度可能也有所提

高(我没有测试过)。

7。-shared参数

编译动态库时要用到,比如gcc -shared test.c -o libtest.so

8。几个相关的环境变量

PKG_CONFIG_PATH:用来指定pkg-config用到的pc文件的路径,默认是/usr/lib/pkgconf

ig,pc文件是文本文件,扩展名是.pc,里面定义开发

包的安装路径,Libs参数和Cflags参数等等。

CC:用来指定c编译器。

CXX:用来指定cxx编译器。

LIBS:跟上面的--libs作用差不多。

CFLAGS:跟上面的--cflags作用差不多。

CC,CXX,LIBS,CFLAGS手动编译时一般用不上,在做configure时有时用到,一般情况

下不用管。

环境变量设定方法:export ENV_NAME=xxxxxxxxxxxxxxxxx

9。关于交叉编译

交叉编译通俗地讲就是在一种平台上编译出能运行在体系结构不同的另一种平台上,比

如在我们地PC平台(X86 CPU)上编译出能运行在sparc  

CPU平台上的程序,编译得到的程序在X86 CPU平台上是不能运行的,必须放到sparc  

CPU平台上才能运行。

当然两个平台用的都是linux。

这种方法在异平台移植和嵌入式开发时用得非常普遍。

相对与交叉编译,我们平常做的编译就叫本地编译,也就是在当前平台编译,编译得到

的程序也是在本地执行。

用来编译这种程序的编译器就叫交叉编译器,相对来说,用来做本地编译的就叫本地编

译器,一般用的都是gcc,但这种gcc跟本地的gcc编译器

是不一样的,需要在编译gcc时用特定的configure参数才能得到支持交叉编译的gcc。

为了不跟本地编译器混淆,交叉编译器的名字一般都有前缀,比如sparc-xxxx-linux-gn

u-gcc,sparc-xxxx-linux-gnu-g++ 等等

10。交叉编译器的使用方法

使用方法跟本地的gcc差不多,但有一点特殊的是:必须用-L和-I参数指定编译器用spar

c系统的库和头文件,不能用本地(X86)

的库(头文件有时可以用本地的)。

例子:

sparc-xxxx-linux-gnu-gcc test.c -L/path/to/sparcLib -I/path/to/sparcInclude  

Tag:C&C++

gcc and g++现在是gnu中最主要和最流行的c & c++编译器 .gcc/g++在执行编译工作的时候,总共需要以下几步:

1.预处理,生成.i的文件[预处理器cpp]

2.将预处理后的文件不转换成汇编语言,生成文件.s[编译器egcs]

3.有汇编变为目标代码(机器代码)生成.o的文件[汇编器as]

4.连接目标代码,生成可执行程序[链接器ld]

?gcc and g++现在是gnu中最主要和最流行的c & c++编译器 .gcc/g++在执行编译工作的时候,总共需要以下几步:

1.预处理,生成.i的文件[预处理器cpp]

2.将预处理后的文件不转换成汇编语言,生成文件.s[编译器egcs]

3.有汇编变为目标代码(机器代码)生成.o的文件[汇编器as]

4.连接目标代码,生成可执行程序[链接器ld]

GCC能够处理的后缀有:

a. *.c? *.C????? (C语言)

b. *.cxx?? *.cc? (C++语言)

c. *.m?????????? (面向对象的C)

d. *.i?????????? (预处理后的C语言源文件)

e. *.ii????????? (预处理后的C++语言源文件)

f. *.s *.S?????? (汇编语言)

h. *.h???????? (头文件)

目标文件可以是:

a. *.o???? 编译连接后的目标文件

b. *.a???? 库文件

[参数详解]

-x language filename

  设定文件所使用的语言,使后缀名无效,对以后的多个有效.也就是根据约定C语言的后

缀名称是.c的,而C++的后缀名是.C或者.cpp,如果你很个性,决定你的C代码文件的后缀

名是.pig 哈哈,那你就要用这个参数,这个参数对他后面的文件名都起作用,除非到了

下一个参数的使用。

  可以使用的参数吗有下面的这些

  c’, objective-c', c-header’, c++', cpp-output’, assembler', and a

ssembler-with-cpp’.

  看到英文,应该可以理解的。

  例子用法:

  gcc -x c hello.pig

  

-x none filename

  关掉上一个选项,也就是让gcc根据文件名后缀,自动识别文件类型

  例子用法:

  gcc -x c hello.pig -x none hello2.c

  

-c

  只激活预处理,编译,和汇编,也就是他只把程序做成obj文件

  例子用法:

  gcc -c hello.c

  他将生成.o的obj文件

-S

  只激活预处理和编译,就是指把文件编译成为汇编代码。

  例子用法

  gcc -S hello.c

  他将生成.s的汇编代码,你可以用文本编辑器察看

-E

  只激活预处理,这个不生成文件,你需要把它重定向到一个输出文件里面.

  例子用法:

  gcc -E hello.c > pianoapan.txt

  gcc -E hello.c | more

  慢慢看吧,一个hello word 也要与处理成800行的代码

-o

  制定目标名称,缺省的时候,gcc 编译出来的文件是a.out,很难听,如果你和我有同感

,改掉它,哈哈

  例子用法

  gcc -o hello.exe hello.c (哦,windows用习惯了)

  gcc -o hello.asm -S hello.c

-pipe

  使用管道代替编译中临时文件,在使用非gnu汇编工具的时候,可能有些问题

  gcc -pipe -o hello.exe hello.c

-ansi

  关闭gnu c中与ansi c不兼容的特性,激活ansi c的专有特性(包括禁止一些asm inl

ine typeof关键字,以及UNIX,vax等预处理宏,

-fno-asm

  此选项实现ansi选项的功能的一部分,它禁止将asm,inline和typeof用作关键字。

    

-fno-strict-prototype

  只对g++起作用,使用这个选项,g++将对不带参数的函数,都认为是没有显式的对参数

的个数和类型说明,而不是没有参数.

  而gcc无论是否使用这个参数,都将对没有带参数的函数,认为城没有显式说明的类型

  

-fthis-is-varialble

  就是向传统c++看齐,可以使用this当一般变量使用.

  

-fcond-mismatch

  允许条件表达式的第二和第三参数类型不匹配,表达式的值将为void类型

  

-funsigned-char

-fno-signed-char

-fsigned-char

-fno-unsigned-char

  这四个参数是对char类型进行设置,决定将char类型设置成unsigned char(前两个参

数)或者 signed char(后两个参数)

  

-include file

  包含某个代码,简单来说,就是便以某个文件,需要另一个文件的时候,就可以用它设

定,功能就相当于在代码中使用#include

  例子用法:

  gcc hello.c -include /root/pianopan.h

  

-imacros file

  将file文件的宏,扩展到gcc/g++的输入文件,宏定义本身并不出现在输入文件中

  

-Dmacro

  相当于C语言中的#define macro

  

-Dmacro=defn

  相当于C语言中的#define macro=defn

  

-Umacro

  相当于C语言中的#undef macro

-undef

  取消对任何非标准宏的定义

  

-Idir

  在你是用#include”file”的时候,gcc/g++会先在当前目录查找你所制定的头文件,如

果没有找到,他回到缺省的头文件目录找,如果使用-I制定了目录,他

  回先在你所制定的目录查找,然后再按常规的顺序去找.

  对于#include,gcc/g++会到-I制定的目录查找,查找不到,然后将到系统的缺

省的头文件目录查找

  

-I-

  就是取消前一个参数的功能,所以一般在-Idir之后使用

  

-idirafter dir

  在-I的目录里面查找失败,讲到这个目录里面查找.

  

-iprefix prefix

-iwithprefix dir

  一般一起使用,当-I的目录查找失败,会到prefix+dir下查找

  

-nostdinc

  使编译器不再系统缺省的头文件目录里面找头文件,一般和-I联合使用,明确限定头

文件的位置

  

-nostdin C++

  规定不在g++指定的标准路经中搜索,但仍在其他路径中搜索,.此选项在创libg++库

使用

  

-C

  在预处理的时候,不删除注释信息,一般和-E使用,有时候分析程序,用这个很方便的

  

-M

  生成文件关联的信息。包含目标文件所依赖的所有源代码你可以用gcc -M hello.c

来测试一下,很简单。

  

-MM

  和上面的那个一样,但是它将忽略由#include造成的依赖关系。

  

-MD

  和-M相同,但是输出将导入到.d的文件里面

  

-MMD

  和-MM相同,但是输出将导入到.d的文件里面

  

-Wa,option

  此选项传递option给汇编程序;如果option中间有逗号,就将option分成多个选项,然

后传递给会汇编程序

  

-Wl.option

  此选项传递option给连接程序;如果option中间有逗号,就将option分成多个选项,然

后传递给会连接程序.

  

-llibrary

  制定编译的时候使用的库

  例子用法

  gcc -lcurses hello.c

  使用ncurses库编译程序

  

-Ldir

  制定编译的时候,搜索库的路径。比如你自己的库,可以用它制定目录,不然

  编译器将只在标准库的目录找。这个dir就是目录的名称。

  

-O0

-O1

-O2

-O3

  编译器的优化选项的4个级别,-O0表示没有优化,-O1为缺省值,-O3优化级别最高 

    

-g

  只是编译器,在编译的时候,产生调试信息。

  

-gstabs

  此选项以stabs格式声称调试信息,但是不包括gdb调试信息.

  

-gstabs+

  此选项以stabs格式声称调试信息,并且包含仅供gdb使用的额外调试信息.

  

-ggdb

  此选项将尽可能的生成gdb的可以使用的调试信息.

-static

  此选项将禁止使用动态库,所以,编译出来的东西,一般都很大,也不需要什么

动态连接库,就可以运行.

-share

  此选项将尽量使用动态库,所以生成文件比较小,但是需要系统由动态库.

-traditional

  试图让编译器支持传统的C语言特性

[参考资料]

-Linux/UNIX高级编程

  中科红旗软件技术有限公司编著.清华大学出版社出版

-Gcc man page

  

[ChangeLog]

-2002-08-10

  ver 0.1 发布最初的文档

-2002-08-11

  ver 0.11 修改文档格式

-2002-08-12

  ver 0.12 加入了对静态库,动态库的参数

-2002-08-16

  ver 0.16 增加了gcc编译的4个阶段的命令

运行 gcc/egcs

**********运行 gcc/egcs***********************

  GCC 是 GNU 的 C 和 C++ 编译器。实际上,GCC 能够编译三种语言:C、C++ 和 O

bject C(C 语言的一种面向对象扩展)。利用 gcc 命令可同时编译并连接 C 和 C++

源程序。

  如果你有两个或少数几个 C 源文件,也可以方便地利用 GCC 编译、连接并生成可

执行文件。例如,假设你有两个源文件 main.c 和 factorial.c 两个源文件,现在要编

译生成一个计算阶乘的程序。

代码:

———————–

清单 factorial.c

———————–
[codes=c]
int factorial (int n)

{

  if (n <= 1)    return 1;   else    return factorial (n – 1) * n; } [/codes]
———————–

清单 main.c

———————–

[codes=c]#include 

#include 

int factorial (int n);

int main (int argc, char **argv)

{

  int n;

  if (argc < 2)   {     printf (“Usage: %s n\n”, argv [0]);     return -1;   }   else   {    n = atoi (argv[1]);    printf (“Factorial of %d is %d.\n”, n, factorial (n));    }   return 0; } [/codes]
———————–

利用如下的命令可编译生成可执行文件,并执行程序:

$ gcc -o factorial main.c factorial.c

$ ./factorial 5

Factorial of 5 is 120.

  GCC 可同时用来编译 C 程序和 C++ 程序。一般来说,C 编译器通过源文件的后缀

名来判断是 C 程序还是 C++ 程序。在 Linux 中,C 源文件的后缀名为 .c,而 C++ 源

文件的后缀名为 .C 或 .cpp。但是,gcc 命令只能编译 C++ 源文件,而不能自动和 C

++ 程序使用的库连接。因此,通常使用 g++ 命令来完成 C++ 程序的编译和连接,该程

序会自动调用 gcc 实现编译。假设我们有一个如下的 C++ 源文件(hello.C):

[codes=c]#include

void main (void)

{

  cout << "Hello, world!" << endl; } [/codes] 则可以如下调用 g++ 命令编译、连接并生成可执行文件: $ g++ -o hello hello.C $ ./hello Hello, world! **********************gcc/egcs 的主要选项********* gcc 命令的常用选项 选项 解释 -ansi 只支持 ANSI 标准的 C 语法。这一选项将禁止 GNU C 的某些特色, 例如 asm 或 typeof 关键词。 -c 只编译并生成目标文件。 -DMACRO 以字符串“1”定义 MACRO 宏。 -DMACRO=DEFN 以字符串“DEFN”定义 MACRO 宏。 -E 只运行 C 预编译器。 -g 生成调试信息。GNU 调试器可利用该信息。 -IDIRECTORY 指定额外的头文件搜索路径DIRECTORY。 -LDIRECTORY 指定额外的函数库搜索路径DIRECTORY。 -lLIBRARY 连接时搜索指定的函数库LIBRARY。 -m486 针对 486 进行代码优化。 -o FILE 生成指定的输出文件。用在生成可执行文件时。 -O0 不进行优化处理。 -O 或 -O1 优化生成代码。 -O2 进一步优化。 -O3 比 -O2 更进一步优化,包括 inline 函数。 -shared 生成共享目标文件。通常用在建立共享库时。 -static 禁止使用共享连接。 -UMACRO 取消对 MACRO 宏的定义。 -w 不生成任何警告信息。 -Wall 生成所有警告信息