11月 152010
 

工作中遇到一个页面,该页面是不能cache的,但是其http头是这么写的:

Cache-Control: max-age=0
Pragma: no-cache
Cache-Control: post-check=0, pre-check=0

在我的IE8中,该页面是被cache了一小段时间的,不知道是按照时间还是命中次数cache的,反正访问几次(5/6次吧)cache之后,就重新请求了。

通过fiddler添加cache-control来调试(这个页面不是我们自己的),发现添加了:

Cache-control: no-cache

Cache-control: no-store

Cache-control: no-cache,no-store

都是可以的。一般来讲我们使用第三种写法,至少no-store 对于FF下面的后退是有效的

——————————————————————–

关于fiddler的一点说明:

fiddler可以添加请求头和响应头,但是你知道fiddler做的是一个代理,对于添加的请求头你在httpwatch中是看不到的。另外,由于该页面是需要登录后访问的,似乎在服务器端做了cache方面的控制,当我把Cache-control错加到请求头时,总是显示未登录状态了。

请求头和响应头都是可以在filter里面设置的。

 Posted by at 下午 9:01
4月 242010
 

httpwatch 是个不错的东西,它是web开发者的一把利器;另一把利器就是Firebug 。
关于httpwatch自动化测试和分析的例子详见httpwatch的帮助文档之:
Automating HttpWatch

另外, 如果你有visual studio的话,可以在对象浏览器中选择“编辑自定义组件集”,添加httpwatch的com组件,这样查看httpwatch的api更加方便一些。非常推荐的哦

 Posted by at 上午 11:36
4月 082010
 

 Posted by at 上午 12:51
4月 062010
 

1. 关于父域和子域使用相同cookie的情况
  在 PHP(5)的源码中,main/php_variables.c 中有rfc2965的相关说明, 里面解释了的当在cookie串中遇到两个同名cookie时的处理策略

2. 至于浏览器如何处理接受到的cookie,遇到子域和父域下有同名cookie时处理策略还需要在查一些资料,在看…

 

 Posted by at 上午 5:08
11月 022009
 

curl -c cookie.txt www.baidu.com
cat cookie.txt
# Netscape HTTP Cookie File
# http://www.netscape.com/newsref/std/cookie_spec.html
# This file was generated by libcurl! Edit at your own risk.

.baidu.com      TRUE    /       FALSE   4294967295      BAIDUID F12E0E84A1A44C56325C9FB70263B8B7:FG=1

[root@bsso software-rpm]# curl -b cookie.txt baidu.com -v
* About to connect() to baidu.com port 80
*   Trying 220.181.6.182… * connected
* Connected to baidu.com (220.181.6.182) port 80
> GET / HTTP/1.1
User-Agent: curl/7.12.1 (i686-redhat-linux-gnu) libcurl/7.12.1 OpenSSL/0.9.7a zlib/1.2.1.2 libidn/0.5.6
Host: baidu.com
Pragma: no-cache
Accept: */*
Cookie: BAIDUID=F12E0E84A1A44C56325C9FB70263B8B7:FG=1

这里旨在提醒一下cookie文件的格式,以前一直以为是name=value形式的;今天使用时,才发现:

 Posted by at 上午 3:26
8月 082009
 

今天想下载几段戏曲,但是很多网页播放器能播放的东西都不是好下载的,首先找数据源就比较麻烦,下面介绍一种办法。
1. 打开httpwatch,查看可以播放戏曲的页面,等所有的东西都加在完成后,观察所有请求中的time列,如果戏曲还在加载过程中,那么肯定有一列为“*”,就是还没有加载完的意思,那么这个请求就是播放的数据源,直接复制出来下载吧。

2. 直接复制出来未必就能直接下载,这些东西一般通过几种方法来判断;

   根据referer判断,这个不用于防止下载,主要是用于防止盗链
   根据agent判断,这个应该是防止使用非浏览器的工具下载的,如:可能不能简单实用wget或curl下载,但是修改了agent就可以下载了

 Posted by at 上午 9:52
6月 252009
 

关于referer,它有很多用途,但是,只有我们真正理解了其含义,才不至于错用,下面说几个referer需要注意的问题

1. 对于firefox,关于referer这部分是可以在about:config里面设置的

2. 一般来讲

         点击一个a标签,访问一个目标页面,这时referer是源页面

         在标签里面访问一个地址,如: img   script 标签的src属性,这时src地址的请求里可以得到referer

3. 跳转时一般没有referer

         使用location.href = "b.htm";则b.htm得不到referer

         使用location.replace("b.htm");则b.htm得不到referer

         使用header("Location: b.htm");则b.htm得不到referer

         怎么跳转可以得到referer呢?

         使用form表单的形式跳转,如:

       <html>
        <
head>
                <
title>redirect</title>
        </
head>
        <
body onload="document.getElementById(‘f’).submit()">
                <
form id="f" action="a.php" method="post">
                        <
input type="hidden" name="n" value="m" />
                </
form>
        </
body>
       </
html>

 Posted by at 上午 12:38
6月 182009
 

    我非常喜欢使用httpwatch来查看客户端与服务器之间的交互,我一贯是看httpwatch里面的stream选项,因为这样看到的都是最原始的请求和相应数据,但是有一天我的这种做法受到的挑战,因为服务器的响应时作了gzip压缩的,这样不能很直观地看到响应的内容,怎么办呢?

目前这里有三个办法,当然肯定还有其他办法。

办法1.  自己做一个小工具来解压压缩的数据

        该办法比较麻烦,而且不够通用,我根本没有尝试过这种办法。

办法2.  httpwatch看到的请求的数据复制到文本文件里,然后将accept请求头去掉,打开cmd,使用telnet来访问

        该办法比上一种办法稍微好一点,比较简单易行,但是缺点有二:

        一、对于不允许重放的请求无效

        二、对于https的请求无效

           其实,对于https的请求,可以借助openssl来完成,命令:

           openssl s_client -connect host:port 

          然后就像用telnet那样输入明文就可以了

办法3.  使用curl自己构造请求串

        该办法可以避免办法二里面的第二个缺点,即:对于走https的请求也可以搞定;但是要求你机器上有curl命令,而且操作也比较麻烦

办法4.  使用firefox,通过如下配置可以使得返回的数据不压缩,这个利用了http协议的知识

         一、在firefox地址栏里输入:   about:config

        二、查找network.http.accept-encoding  清空即可

 Posted by at 上午 12:34
2月 122009
 

HTTP(HyperTextTransferProtocol)是超文本传输协议的缩写,它用于传送WWW方式的数据,关于HTTP 协议的详细内容请参 考RFC2616。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求,请求头包含请求的方法、URI、协议版本、以及包含请求修饰符、客户 信息和内容的类似于MIME的消息结构。服务器以一个状态行作为响应,相应的内容包括消息协议的版本,成功或者错误编码加上包含服务器信息、实体元信息以 及可能的实体内容。

 通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。这两种类型的消息由一个起始行,一个或者多个头域,一个只是头域结束的空行和可 选的消息体组成。HTTP的头域包括通用头,请求头,响应头和实体头四个部分。每个头域由一个域名,冒号(:)和域值三部分组成。域名是大小写无关的,域 值前可以添加任何数量的空格符,头域可以被扩展为多行,在每行开始处,使用至少一个空格或制表符。

通用头域

 通用头 域包含请求和响应消息都支持的头域,通用头域包含Cache-Control、 Connection、Date、Pragma、Transfer-Encoding、Upgrade、Via。对通用头域的扩展要求通讯双方都支持此扩 展,如果存在不支持的通用头域,一般将会作为实体头域处理。下面简单介绍几个在UPnP消息中使用的通用头域。

Cache-Control头域

 Cache -Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置 Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached,响应消息中的指令包括public、private、no-cache、no- store、no-transform、must-revalidate、proxy-revalidate、max-age。各个消息中的指令含义如 下:

 Public指示响应可被任何缓存区缓存。

 Private指示对于单个用户的整个或部分响应消息,不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息,此响应消息对于其他用户的请求无效。

no-cache指示请求或响应消息不能缓存

no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。

max-age指示客户机可以接收生存期不大于指定时间(以秒为单位)的响应。

min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。

max-stale指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值,那么客户机可以接收超出超时期指定值之内的响应消息。

Date头域

 Date头域表示消息发送的时间,时间的描述格式由rfc822定义。例如,Date:Mon,31Dec200104:25:57GMT。Date描述的时间表示世界标准时,换算成本地时间,需要知道用户所在的时区。

Pragma头域

 Pragma头域用来包含实现特定的指令,最常用的是Pragma:no-cache。在HTTP/1.1协议中,它的含义和Cache- Control:no-cache相同。

请求消息

请求消息的第一行为下面的格式:

 MethodSPRequest-URISPHTTP-VersionCRLFMethod 表示对于Request-URI完成的方法,这个字段是大小写敏感的,包括OPTIONS、GET、HEAD、POST、PUT、DELETE、 TRACE。方法GET和HEAD应该被所有的通用WEB服务器支持,其他所有方法的实现是可选的。GET方法取回由Request-URI标识的信息。 HEAD方法也是取回由Request-URI标识的信息,只是可以在响应时,不返回消息体。POST方法可以请求服务器接收包含在请求中的实体信息,可 以用于提交表单,向新闻组、BBS、邮件群组和数据库发送消息。

 SP表示空格。Request-URI遵循URI格式,在此字段为星 号(*)时,说明请求并不用于某个特定的资源地址,而是用于服务器本身。HTTP- Version表示支持的HTTP版本,例如为HTTP/1.1。CRLF表示换行回车符。请求头域允许客户端向服务器传递关于请求或者关于客户机的附加 信息。请求头域可能包含下列字段Accept、Accept-Charset、Accept- Encoding、Accept-Language、Authorization、From、Host、If-Modified-Since、If- Match、If-None-Match、If-Range、If-Range、If-Unmodified-Since、Max-Forwards、 Proxy-Authorization、Range、Referer、User-Agent。对请求头域的扩展要求通讯双方都支持,如果存在不支持的请 求头域,一般将会作为实体头域处理。

典型的请求消息:

GET http://download.microtool.de:80/somedata.exe
Host: download.microtool.de
Accept:*/*
Pragma: no-cache
Cache-Control: no-cache
Referer: http://download.microtool.de/
User-Agent:Mozilla/4.04[en](Win95;I;Nav)
Range:bytes=554554-

 上例第一行表示HTTP客户端(可能是浏览器、下载程序)通过GET方法获得指定URL下的文件。棕色的部分表示请求头域的信息,绿色的部分表示通用头部分。

Host头域

 Host头域指定请求资源的Intenet主机和端口号,必须表示请求url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域,否则系统会以400状态码返回。

Referer头域

 Referer 头域允许客户端指定请求uri的源资源地址,这可以允许服务器生成回退链表,可用来登陆、优化cache等。他也允许废除的或错误的连接由于维护的目的被 追踪。如果请求的uri没有自己的uri地址,Referer不能被发送。如果指定的是部分uri地址,则此地址应该是一个相对地址。

Range头域

Range头域可以请求实体的一个或者多个子范围。例如,

表示头500个字节:bytes=0-499

表示第二个500字节:bytes=500-999

表示最后500个字节:bytes=-500

表示500字节以后的范围:bytes=500-

第一个和最后一个字节:bytes=0-0,-1

同时指定几个范围:bytes=500-600,601-999

 但是服务器可以忽略此请求头,如果无条件GET包含Range请求头,响应会以状态码206(PartialContent)返回而不是以200 (OK)。

User-Agent头域

User-Agent头域的内容包含发出请求的用户信息。

响应消息

响应消息的第一行为下面的格式:

HTTP-VersionSPStatus-CodeSPReason-PhraseCRLF

 HTTP -Version表示支持的HTTP版本,例如为HTTP/1.1。Status- Code是一个三个数字的结果代码。Reason-Phrase给Status-Code提供一个简单的文本描述。Status-Code主要用于机器自 动识别,Reason-Phrase主要用于帮助用户理解。Status-Code的第一个数字定义响应的类别,后两个数字没有分类的作用。第一个数字可 能取5个不同的值:

1xx:信息响应类,表示接收到请求并且继续处理

2xx:处理成功响应类,表示动作被成功接收、理解和接受

3xx:重定向响应类,为了完成指定的动作,必须接受进一步处理

4xx:客户端错误,客户请求包含语法错误或者是不能正确执行

5xx:服务端错误,服务器不能正确执行一个正确的请求

 响应头域允许服务器传递不能放在状态行的附加信息,这些域主要描述服务器的信息和 Request-URI进一步的信息。响应头域包含Age、Location、Proxy-Authenticate、Public、Retry- After、Server、Vary、Warning、WWW-Authenticate。对响应头域的扩展要求通讯双方都支持,如果存在不支持的响应头 域,一般将会作为实体头域处理。

典型的响应消息:

HTTP/1.0200OK

Date:Mon,31Dec200104:25:57GMT

Server:Apache/1.3.14(Unix)

Content-type:text/html

Last-modified:Tue,17Apr200106:46:28GMT

Etag:"a030f020ac7c01:1e9f"

Content-length:39725426

Content-range:bytes554554-40279979/40279980

 上例第一行表示HTTP服务端响应一个GET方法。棕色的部分表示响应头域的信息,绿色的部分表示通用头部分,红色的部分表示实体头域的信息。

Location响应头

Location响应头用于重定向接收者到一个新URI地址。

Server响应头

 Server响应头包含处理请求的原始服务器的软件信息。此域能包含多个产品标识和注释,产品标识一般按照重要性排序。

实体

 请求消息和响应消息都可以包含实体信息,实体信息一般由实体头域和实体组成。实体头域包含关于实体的原信息,实体头包括Allow、Content- Base、Content-Encoding、Content-Language、 Content-Length、Content-Location、Content-MD5、Content-Range、Content-Type、 Etag、Expires、Last-Modified、extension-header。extension-header允许客户端定义新的实体 头,但是这些域可能无法未接受方识别。实体可以是一个经过编码的字节流,它的编码方式由Content-Encoding或Content-Type定 义,它的长度由Content-Length或Content-Range定义。

Content-Type实体头

 Content-Type实体头用于向接收方指示实体的介质类型,指定HEAD方法送到接收方的实体介质类型,或GET方法发送的请求介质类型 Content-Range实体头

 Content-Range实体头用于指定整个实体中的一部分的插入位置,他也指示了整个实体的长度。在服务器向客户返回一个部分响应,它必须描述响应覆盖的范围和整个实体长度。一般格式:

 Content-Range:bytes-unitSPfirst-byte-pos-last-byte-pos/entity-legth

 例如,传送头500个字节次字段的形式:Content-Range:bytes0- 499/1234如果一个http消息包含此节(例如,对范围请求的响应或对一系列范围的重叠请求),Content-Range表示传送的范围, Content-Length表示实际传送的字节数。

Last-modified实体头

    

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

        

            

            

        

    

应答头 说明
Allow 服务器支持哪些请求方法(如GET、POST等)。
Content-Encoding 文 档的编码(Encode)方法。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的 下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩,但只有Unix上的Netscape和Windows上的IE 4、IE 5才支持它。因此,Servlet应该通过查看Accept-Encoding头(即request.getHeader("Accept- Encoding"))检查浏览器是否支持gzip,为支持gzip的浏览器返回经gzip压缩的HTML页面,为其他浏览器返回普通页面。
Content-Length 表 示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。如果你想要利用持久连接的优势,可以把输出文档写入 ByteArrayOutputStram,完成后查看其大小,然后把该值放入Content-Length头,最后通过 byteArrayStream.writeTo(response.getOutputStream()发送内容。
Content-Type 表示后面的文档属于什么MIME类型。Servlet默认为text/plain,但通常需要显式地指定为text/html。由于经常要设置Content-Type,因此HttpServletResponse提供了一个专用的方法setContentTyep。
            
Date 当前的GMT时间。你可以用setDateHeader来设置这个头以避免转换时间格式的麻烦。
Expires 应该在什么时候认为文档已经过期,从而不再缓存它?
Last-Modified 文 档的最后改动时间。客户可以通过If-Modified-Since请求头提供一个日期,该请求将被视为一个条件GET,只有改动时间迟于指定时间的文档 才会返回,否则返回一个304(Not Modified)状态。Last-Modified也可用setDateHeader方法来设置。
Location 表示客户应当到哪里去提取文档。Location通常不是直接设置的,而是通过HttpServletResponse的sendRedirect方法,该方法同时设置状态代码为302。
Refresh 表示浏览器应该在多少时间之后刷新文档,以秒计。除了刷新当前文档之外,你还可以通过setHeader("Refresh", "5; URL=http://host/path")让浏览器读取指定的页面。
            注 意这种功能通常是通过设置HTML页面HEAD区的<META HTTP-EQUIV="Refresh" CONTENT="5;URL=http://host/path">实现,这是因为,自动刷新或重定向对于那些不能使用CGI或Servlet的 HTML编写者十分重要。但是,对于Servlet来说,直接设置Refresh头更加方便。
            
            注意Refresh的意义是“N秒之后 刷新本页面或访问指定页面”,而不是“每隔N秒刷新本页面或访问指定页面”。因此,连续刷新要求每次都发送一个Refresh头,而发送204状态代码则 可以阻止浏览器继续刷新,不管是使用Refresh头还是<META HTTP-EQUIV="Refresh" …>。
            
            注意Refresh头不属于HTTP 1.1正式规范的一部分,而是一个扩展,但Netscape和IE都支持它。
Server 服务器名字。Servlet一般不设置这个值,而是由Web服务器自己设置。
Set-Cookie 设置和页面关联的Cookie。Servlet不应使用response.setHeader("Set-Cookie", …),而是应使用HttpServletResponse提供的专用方法addCookie。参见下文有关Cookie设置的讨论。
WWW-Authenticate 客 户应该在Authorization头中提供什么类型的授权信息?在包含401(Unauthorized)状态行的应答中这个头是必需的。例如, response.setHeader("WWW-Authenticate", "BASIC realm=\"executives\"")。
            注意Servlet一般不进行这方面的处理,而是让Web服务器的专门机制来控制受密码保护页面的访问(例如.htaccess)。
 Posted by at 下午 9:23