19HTTP协议规范化实训.docx
- 文档编号:15957410
- 上传时间:2023-07-09
- 格式:DOCX
- 页数:34
- 大小:1.21MB
19HTTP协议规范化实训.docx
《19HTTP协议规范化实训.docx》由会员分享,可在线阅读,更多相关《19HTTP协议规范化实训.docx(34页珍藏版)》请在冰点文库上搜索。
19HTTP协议规范化实训
实训十八HTTP协议规范化实训
一、实训目的
1、了解HTTP协议相关内容;
2、掌握HTTP协议规范化的配置方法。
二、应用环境
HTTP协议规范化是指根据HTTP协议本身的一些协议特性及在正常访问网站时,协议交互的过程中产生的一些配置参数,对这些特性和参数进行保护和过滤,保护正常准确的信息能够完成交互,并对非法的超出规定的不合法信息加以过滤和阻止。
三、实训设备
1、WAF设备1台
2、PC机2台
3、双绞线(直通)2根
四、实训拓扑
透明部署模式
五、实训要求
1、按照拓扑连接网络
2、按照拓扑中的IP地址配置设备IP
六、实训步骤
第一步:
在PC机2上部署要进行网络爬虫的网站,并在本地访问正常,在PC机2上打开浏览器输入http:
//127.0.0.1/
第二步:
在PC机1上打开浏览器输入https:
//192.168.1.2/登录WAF设备,将保护网站添加到WAF站点管理中,左侧功能树进入站点->站点管理,点击新建按钮
输入web服务器IP地址和端口,点击确定,将网站加入WAF保护中
注意:
此步骤中策略集选择“无”
第三步:
在PC机1上打开浏览器输入http:
//192.168.1.3访问网站,能够正常访问
第四步:
在PC机1上打开浏览器输入https:
//192.168.1.2登录WAF,进入防护->web攻击防护->请求限制,点击新建策略名称为qq
新建完成点击修改
可以看到该项目的许多参数配置项目,目前输入框中默认的参数数值大小为HTTP协议规范的一个标准值,超过或者小于某些参数值得时候WAF会识别为不正确或者不正常的HTTP数据,就会把这种不符合要求的数据包丢弃
第五步:
根据上面的参数值我们做一下实验,这里比较容易做而又显示比较直观的是URL最大长度、允许的Method、禁止的内容类型。
我们先做第一个,URL最大长度意思就是你在浏览器里面输入的字符串的长度,下面更改的小一些,更改为10,点击确定
进入整体防护策略集->新建策略集qq_zt,在此策略集中应用qq这个请求限制策略
进入站点->站点管理->修改,应用整体策略集qq_zt到站点
此时我们在浏览器里输入http:
//192.168.1.3/访问网站,会出现“请求包数据不符合要求!
”的提示
通过我们输入的URL可以得出,输入的字符超过了10个,WAF就认为这是不正常的数据,就阻止掉了。
同样我们做允许的Method实验,上面我们已经把策略引用到保护了,本次我们直接进入->web攻击防护->请求限制->qq策略中修改该策略的参数即可,从下图看到右侧的框中是默认被选中的HTTP方法
现在我们在右侧的框中只保留POST,点击保存,之前更改的URL最大长度需要还原默认值
此时我们在浏览器中输入http:
//192.168.1.3访问web服务器(此方法访问网站是属于HTTP方法中的GET方法),因只允许了POST所以访问被阻止
下面我们做禁止的内容类型实验
在第一个实验中我们已经把策略引用到保护了,本次我们直接进入->web攻击防护->请求限制->qq策略中修改该策略的参数即可,修改前先将第二个实验中更改的内容改回,再修改禁止的内容类型为text/html,如下图所示
此时我们在浏览器中输入http:
//192.168.1.3/index.php访问web服务器的首页,因策略中我们禁止了text/html类型内容的访问,所以此处访问会被阻止
第六步:
通过以上三个实验说明,有效利用和控制HTTP协议中的相关字段和参数能够有效的阻止攻击保障正常合法的浏览同行,而普通的服务器或者防火墙是无法实现这一点的,只有通过专业的web安全设备WAF才可以做到。
七、注意事项和排错
1、需要将保护网站添加到WAF保护中,才能够保护生效。
2、防护不能生效时检查配置参数,并重新应用该策略。
3、在实验过程中注意及时清空浏览器缓存以免产生影响。
八、配置序列
无
九、共同思考
结合知识背景思考HTTP的不足?
一十、课后练习
尝试上述实验中的其他参数进行实验操作?
一十一、知识背景
HTTP(HyperTextTransferProtocol)又称为超文本传输协议,是互联网上应用最为广泛的一种网络协议。
所有的WWW文件都必须遵守这个标准。
设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。
简介
1960年美国人TedNelson构思了一种通过计算机处理文本信息的方法,并称之为超文本(hypertext),这成为了HTTP超文本传输协议标准架构的发展根基。
TedNelson组织协调万维网协会(WorldWideWebConsortium)和Internet工作小组(InternetEngineeringTaskForce)共同合作研究,最终发布了一系列的RFC,其中最著名的就是RFC2616。
RFC2616定义了HTTP协议的我们今天普遍使用的一个版本——HTTP1.1。
TedNelson对HTTP技术的发展贡献颇大,被公认为“HTTP之父”。
1966年,TedNelson创立了专注于电脑外围设备、电脑包等产品线的HTTP公司。
技术架构
HTTP是一个客户端和服务器端请求和应答的标准(TCP)。
客户端是终端用户,服务器端是网站。
通过使用Web浏览器、网络爬虫或者其它的工具,客户端发起一个到服务器上指定端口(默认端口为80)的HTTP请求。
(我们称这个客户端)叫用户代理(useragent)。
应答的服务器上存储着(一些)资源,比如HTML文件和图像。
(我们称)这个应答服务器为源服务器(originserver)。
在用户代理和源服务器中间可能存在多个中间层,比如代理,网关,或者隧道(tunnels)。
尽管TCP/IP协议是互联网上最流行的应用,HTTP协议并没有规定必须使用它和(基于)它支持的层。
事实上,HTTP可以在任何其他互联网协议上,或者在其他网络上实现。
HTTP只假定(其下层协议提供)可靠的传输,任何能够提供这种保证的协议都可以被其使用。
通常,由HTTP客户端发起一个请求,建立一个到服务器指定端口(默认是80端口)的TCP连接。
HTTP服务器则在那个端口监听客户端发送过来的请求。
一旦收到请求,服务器(向客户端)发回一个状态行,比如"HTTP/1.1200OK",和(响应的)消息,消息的消息体可能是请求的文件、错误消息、或者其它一些信息。
HTTP使用TCP而不是UDP的原因在于(打开)一个网页必须传送很多数据,而TCP协议提供传输控制,按顺序组织数据,和错误纠正。
通过HTTP或者HTTPS协议请求的资源由统一资源标示符(UniformResourceIdentifiers)(或者,更准确一些,URLs)来标识。
协议功能
HTTP是超文本传输协议,是客户端浏览器或其他程序与Web服务器之间的应用层通信协议。
在Internet上的Web服务器上存放的都是超文本信息,客户机需要通过HTTP协议传输所要访问的超文本信息。
HTTP包含命令和传输信息,不仅可用于Web访问,也可以用于其他因特网/内联网应用系统之间的通信,从而实现各类应用资源超媒体访问的集成。
当我们想浏览一个网站的时候,只要在浏览器的地址栏里输入网站的地址就可以了,例如www.*****.com,但是在浏览器的地址栏里面出现的却是:
http:
//www.*******,你知道为什么会多出一个“http”吗?
我们在浏览器的地址栏里输入的网站地址叫做URL(UniformResourceLocator,统一资源定位符)。
就像每家每户都有一个门牌地址一样,每个网页也都有一个Internet地址。
当你在浏览器的地址框中输入一个URL或是单击一个超级链接时,URL就确定了要浏览的地址。
浏览器通过超文本传输协议(HTTP),将Web服务器上站点的网页代码提取出来,并翻译成漂亮的网页。
因此,在我们认识HTTP之前,有必要先弄清楚URL的组成,例如:
http:
//www.******.com/china/index.htm。
它的含义如下:
1.http:
//:
代表超文本转移协议,通知****.com服务器显示Web页,通常不用输入;
2.www:
代表一个Web(万维网)服务器;
3.****.com/:
这是装有网页的服务器的域名,或站点服务器的名称;
4.China/:
为该服务器上的子目录,就好像我们的文件夹;
5.Index.htm:
index.htm是文件夹中的一个HTML文件(网页)。
我们知道,Internet的基本协议是TCP/IP协议,然而在TCP/IP模型最上层的是应用层(Applicationlayer),它包含所有高层的协议。
高层协议有:
文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等。
HTTP协议(HyperTextTransferProtocol,超文本传输协议)是用于从WWW服务器传输超文本到本地浏览器的传输协议。
它可以使浏览器更加高效,使网络传输减少。
它不仅保证计算机正确快速地传输超文本文档,还确定传输文档中的哪一部分,以及哪部分内容首先显示(如文本先于图形)等。
这就是你为什么在浏览器中看到的网页地址都是以http:
//开头的原因。
自WWW诞生以来,一个多姿多彩的资讯和虚拟的世界便出现在我们眼前,可是我们怎么能够更加容易地找到我们需要的资讯呢?
当决定使用超文本作为WWW文档的标准格式后,于是在1990年,科学家们立即制定了能够快速查找这些超文本文档的协议,即HTTP协议。
经过几年的使用与发展,得到不断的完善和扩展,目前在WWW中使用的是HTTP/1.0的第六版。
协议基础
HTTP(HyperTextTransportProtocol)是超文本传输协议的缩写,它用于传送WWW方式的数据,关于HTTP协议的详细内容请参考RFC2616。
HTTP协议采用了请求/响应模型。
客户端向服务器发送一个请求,请求头包含请求的方法、URL、协议版本、以及包含请求修饰符、客户信息和内容的类似于MIME的消息结构。
服务器以一个状态行作为响应,响应的内容包括消息协议的版本,成功或者错误编码加上包含服务器信息、实体元信息以及可能的实体内容。
通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。
这两种类型的消息由一个起始行,一个或者多个头域,一个指示头域结束的空行和可选的消息体组成。
HTTP的头域包括通用头,请求头,响应头和实体头四个部分。
每个头域由一个域名,冒号(:
)和域值三部分组成。
域名是大小写无关的,域值前可以添加任何数量的空格符,头域可以被扩展为多行,在每行开始处,使用至少一个空格或制表符。
http结构
通用头域
通用头域包含请求和响应消息都支持的头域,通用头域包含Cache-Control、Connection、Date、Pragma、Transfer-Encoding、Upgrade、Via。
对通用头域的扩展要求通讯双方都支持此扩展,如果存在不支持的通用头域,一般将会作为实体头域处理。
下面简单介绍几个在UPnP消息中使用的通用头域:
1.Cache-Control头域
Cache-Control指定请求和响应遵循的缓存机制。
在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。
请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached,响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。
各个消息中的指令含义如下:
Public指示响应可被任何缓存区缓存。
Private指示对于单个用户的整个或部分响应消息,不能被共享缓存处理。
这允许服务器仅仅描述当用户的部分响应消息,此响应消息对于其他用户的请求无效。
no-cache指示请求或响应消息不能缓存
no-store用于防止重要的信息被无意的发布。
在请求消息中发送将使得请求和响应消息都不使用缓存。
max-age指示客户机可以接收生存期不大于指定时间(以秒为单位)的响应。
min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。
max-stale指示客户机可以接收超出超时期间的响应消息。
如果指定max-stale消息的值,那么客户机可以接收超出超时期指定值之内的响应消息。
HTTPKeep-Alive
Keep-Alive功能使客户端到服务器端的连接持续有效,当出现对服务器的后继请求时,Keep-Alive功能避免了建立或者重新建立连接。
市场上的大部分Web服务器,包括iPlanet、IIS和Apache,都支持HTTPKeep-Alive。
对于提供静态内容的网站来说,这个功能通常很有用。
但是,对于负担较重的网站来说,这里存在另外一个问题:
虽然为客户保留打开的连接有一定的好处,但它同样影响了性能,因为在处理暂停期间,本来可以释放的资源仍旧被占用。
当Web服务器和应用服务器在同一台机器上运行时,Keep-Alive功能对资源利用的影响尤其突出。
KeepAliveTime值控制TCP/IP尝试验证空闲连接是否完好的频率。
如果这段时间内没有活动,则会发送保持活动信号。
如果网络工作正常,而且接收方是活动的,它就会响应。
如果需要对丢失接收方敏感,换句话说,需要更快地发现丢失了接收方,请考虑减小这个值。
如果长期不活动的空闲连接出现次数较多,而丢失接收方的情况出现较少,您可能会要提高该值以减少开销。
缺省情况下,如果空闲连接7200000毫秒(2小时)内没有活动,Windows就发送保持活动的消息。
通常,1800000毫秒是首选值,从而一半的已关闭连接会在30分钟内被检测到。
KeepAliveInterval值定义了如果未从接收方收到保持活动消息的响应,TCP/IP重复发送保持活动信号的频率。
当连续发送保持活动信号、但未收到响应的次数超出TcpMaxDataRetransmissions的值时,会放弃该连接。
如果期望较长的响应时间,您可能需要提高该值以减少开销。
如果需要减少花在验证接收方是否已丢失上的时间,请考虑减小该值或TcpMaxDataRetransmissions值。
缺省情况下,在未收到响应而重新发送保持活动的消息之前,Windows会等待1000毫秒(1秒)。
KeepAliveTime根据你的需要设置就行,比如10分钟,注意要转换成MS。
XXX代表这个间隔值得大小。
2.Date头域
Date头域表示消息发送的时间,时间的描述格式由rfc822定义。
例如,Date:
Mon,31Dec200104:
25:
57GMT。
Date描述的时间表示世界标准时,换算成本地时间,需要知道用户所在的时区。
3.Pragma头域
Pragma头域用来包含实现特定的指令,最常用的是Pragma:
no-cache。
在HTTP/1.1协议中,它的含义和Cache-Control:
no-cache相同。
请求消息
请求消息的第一行为下面的格式:
MethodSPRequest-URISPHTTP-VersionCRLFMethod表示对于Request-URI完成的方法,这个字段是大小写敏感的,包括OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE。
方法GET和HEAD应该被所有的通用WEB服务器支持,其他所有方法的实现是可选的。
GET方法取回由Request-URI标识的信息。
HEAD方法也是取回由Request-URI标识的信息,只是可以在响应时,不返回消息体。
POST方法可以请求服务器接收包含在请求中的实体信息,可以用于提交表单,向新闻组、BBS、邮件群组和数据库发送消息。
SP表示空格。
Request-URI遵循URI格式,在此字段为星号(*)时,说明请求并不用于某个特定的资源地址,而是用于服务器本身。
HTTP-Version表示支持的HTTP版本,例如为HTTP/1.1。
CRLF表示换行回车符。
请求头域允许客户端向服务器传递关于请求或者关于客户机的附加信息。
请求头域可能包含下列字段Accept、Accept-Charset、Accept-Encoding、Accept-Language、Authorization、From、Host、If-Modified-Since、If-Match、If-None-Match、If-Range、If-Range、If-Unmodified-Since、Max-Forwards、Proxy-Authorization、Range、Referer、User-Agent。
对请求头域的扩展要求通讯双方都支持,如果存在不支持的请求头域,一般将会作为实体头域处理。
典型的请求消息:
Host:
download.*******.de
Accept:
*/*
Pragma:
no-cache
Cache-Control:
no-cache
User-Agent:
Mozilla/4.04[en](Win95;I;Nav)
Range:
bytes=554554-
上例第一行表示HTTP客户端(可能是浏览器、下载程序)通过GET方法获得指定URL下的文件。
棕色的部分表示请求头域的信息,绿色的部分表示通用头部分。
1.Host头域
Host头域指定请求资源的Intenet主机和端口号,必须表示请求url的原始服务器或网关的位置。
HTTP/1.1请求必须包含主机头域,否则系统会以400状态码返回。
2.Referer头域
Referer头域允许客户端指定请求uri的源资源地址,这可以允许服务器生成回退链表,可用来登陆、优化cache等。
他也允许废除的或错误的连接由于维护的目的被追踪。
如果请求的uri没有自己的uri地址,Referer不能被发送。
如果指定的是部分uri地址,则此地址应该是一个相对地址。
3.Range头域
Range头域可以请求实体的一个或者多个子范围。
例如,
表示头500个字节:
bytes=0-499
表示第二个500字节:
bytes=500-999
表示最后500个字节:
bytes=-500
表示500字节以后的范围:
bytes=500-
第一个和最后一个字节:
bytes=0-0,-1
同时指定几个范围:
bytes=500-600,601-999
但是服务器可以忽略此请求头,如果无条件GET包含Range请求头,响应会以状态码206(PartialContent)返回而不是以200(OK)。
4.User-Agent头域
User-Agent头域的内容包含发出请求的用户信息。
响应消息
响应消息的第一行为下面的格式:
HTTP-VersionSPStatus-CodeSPReason-PhraseCRLF
HTTP-Version表示支持的HTTP版本,例如为HTTP/1.1。
Status-Code是一个三个数字的结果代码。
Reason-Phrase给Status-Code提供一个简单的文本描述。
Status-Code主要用于机器自动识别,Reason-Phrase主要用于帮助用户理解。
Status-Code的第一个数字定义响应的类别,后两个数字没有分类的作用。
第一个数字可能取5个不同的值:
1xx:
信息响应类,表示接收到请求并且继续处理
2xx:
处理成功响应类,表示动作被成功接收、理解和接受
3xx:
重定向响应类,为了完成指定的动作,必须接受进一步处理
4xx:
客户端错误,客户请求包含语法错误或者是不能正确执行
5xx:
服务端错误,服务器不能正确执行一个正确的请求
响应头域允许服务器传递不能放在状态行的附加信息,这些域主要描述服务器的信息和Request-URI进一步的信息。
响应头域包含Age、Location、Proxy-Authenticate、Public、Retry-After、Server、Vary、Warning、WWW-Authenticate。
对响应头域的扩展要求通讯双方都支持,如果存在不支持的响应头域,一般将会作为实体头域处理。
典型的响应消息:
HTTP/1.0200OK
Date:
Mon,31Dec200104:
25:
57GMT
Server:
Apache/1.3.14(Unix)
Content-type:
text/html
Last-modified:
Tue,17Apr200106:
46:
28GMT
Etag:
"a030f020ac7c01:
1e9f"
Content-length:
39725426
Content-range:
bytes55******/40279980
上例第一行表示HTTP服务端响应一个GET方法。
棕色的部分表示响应头域的信息,绿色的部分表示通用头部分,红色的部分表示实体头域的信息。
1.Location响应头
Location响应头用于重定向接收者到一个新URI地址。
2.Server响应头
Server响应头包含处理请求的原始服务器的软件信息。
此域能包含多个产品标识和注释,产品标识一般按照重要性排序。
HTTP-运作方式
HTTP协议是基于请求/响应范式的。
一个客户机与服务器建立连接后,发送一个请求给服务器,请求方式的格式为,统一资源标识符、协议版本号,后边是MIME信息包括请求修饰符、客户机信息和可能的内容。
服务器接到请求后,给予相应的响应信息,其格式为一个状态行包括信息的协议版本号、一个成功或错误的代码,后边是MIME信息包括服务器信息、实体信息和可能的内容。
许多HTTP通讯是由一个用户代理初始化的并且包括一个申请在源服务器上资源的请求。
最简单的情况可能是在用户代理(UA)和源服务器(O)之间通过一个单独的连接来完成。
当一个或多个中介出现在请求/响应链中时,情况就变得复杂一些。
中介由三种:
代理(Proxy)、网关(Gateway)和通道(Tunnel)。
一个代理根据URI的绝对格式来接受请求,重写全部或部分消息,通过URI的标识把已格式化过的请求发送到服务器。
网关是一个接收代理,作为一些其它服务器的上层,并且如果必须的话,可以把请求翻译给下层的服务器协议。
一个通道作为不改变消息的两个连接之间的中继点。
当通讯需要通过一个中介(例如:
防火墙等)或者是中介不能识别消息的内容时,通道经常被使用。
http运作方式
实体
请求消息和响应消息都可以包含实体信息,实体信息一般由实体头域和实体组成。
实体头域包含关于实体的原信息,实体头包括Allow、Content-Base、Content-Encoding、Content-Language、Content-Length、Content-Location、Content-MD5、Con
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 19 HTTP 协议 规范化