浅析web集群架构解决方案.docx
- 文档编号:17252678
- 上传时间:2023-07-23
- 格式:DOCX
- 页数:11
- 大小:24.54KB
浅析web集群架构解决方案.docx
《浅析web集群架构解决方案.docx》由会员分享,可在线阅读,更多相关《浅析web集群架构解决方案.docx(11页珍藏版)》请在冰点文库上搜索。
浅析web集群架构解决方案
浅析web集群架构解决方案
篇一:
某公司低成本Web集群技术的设计与实现
毕业设计说明书
课题名称
院系
专业
班级
学号学生姓名
某公司低成本Web集群技术的设计与实现计算机与软件学院计算机网络技术网络122112021432袁
指导教师:
黄
XX年5月25
日
计算机与软件学院
毕业设计(论文)诚信承诺
我谨在此承诺:
本人所写的毕业论文《某公司低成本Web集群技术的设计与实现》,系本人独立完成,没有抄袭行为,凡涉及其他作者的观点和材料,均作了注释与说明,若有不实,后果由本人承担。
承诺人(签名):
XX年5月25日
摘要
随着计算机网络技术的不断发展,互联网用户和网络流量都在爆炸式增长,接踵而来的就是对网络服务器可靠性和可扩展性的考验。
虽然各个服务器的生产厂家都在硬件上做了很大的性能方面的提升,但是依然有许多现实性的要求是其无法避免的;服务器能否提供稳定可靠的、不间断的服务需求显得颇为重要。
互联网访问流量的急速增长,使得高可用负载均衡集群技术得以迅速的发展,然而当前负载均衡设备的价格使得大多数的中小型企业无法承受。
随着开源软件的影响力不断增强,Linux操作系统在服务器领域取得较高的成果,使用Linux操作系统实现web平台高可用负载均衡集群技术成为当今发展热潮。
论文首先阐述了企业网的网络现状,然后通过VLAN规划、IP地址规划、路由策略等将其模拟出来;其次描述了公司web平台的搭建过程;再次使用LVS+Keepalived架构搭建出低成本高可用的web负载均衡平台;最后通过测试展现此次集群环境搭建成功;本文论证了低成本高可用的web负载均衡平台在中小型企业中的实现及其可行性。
关键词:
Linux;集群技术;高可用;web负载均衡
Abstract
Withthedevelopmentofcomputernetworktechnology,Internetusersandnetworkt(转载于:
小龙文档网:
浅析web集群架构解决方案)rafficareexploding,oneafteranotherisonthenetworkserverreliabilityandscalabilitytest.Althougheachserverhardwaremanufacturersaredoingagreatperformanceimprovements,buttherearestillmanypracticalrequirementisthatitcannotbeavoided;servercanprovidereliable,uninterruptedservicerequirementshavebecomequiteimportant.TherapidgrowthofInternettraffic,makinghigh-availabilityloadbalancingclustertechnologytorapiddevelopment,butthecurrentpriceofloadbalancingdevicesmakethemostofthesmallandmediumenterprisescannotafford.
Withtheinfluenceofthegrowingopen-sourcesoftware,Linuxoperatingsystemtoachievehigherresultsintheserverspace,usingtheLinuxoperatingsystemtoachievehigh-availabilityloadbalancingclusterwebplatformtechnologyintotoday'sdevelopmentboom.
Thesisdescribesthestatusofthenetworkenterprisenetwork,andthenthroughtheplanningVLAN,IPaddressplanning,routingstrategieswhichsimulated;secondlydescribestheprocesstobuildthecompany'swebplatform;useLVS+Keepalivedarchitecturetobuildlow-costhighavailabilityagainwebloadbalancingplatform;tobuildasuccessfulfinaltesttoshowthattheclusterenvironment;Thispaperdemonstrate
sthelow-costhigh-availabilityloadbalancingwebplatformandthefeasibilityofsmallandmediumenterprises.
Keywords:
Linux;clustertechnology;highavailability;webloadbalancing
篇二:
大型WEB网站架构深入分析
大型WEB网站架构深入分析
1、HTML静态化
其实大家都知道,效率最高、消耗最小的就是纯静态化的html页面,所以我们尽可能使我们的网站上的页面采用静态页面来实现,这个最简单的方法其实也是最有效的方法。
但是对于大量内容并且频繁更新的网站,我们无法全部手动去挨个实现,于是出现了我们常见的信息发布系统CMS,像我们常访问的各个门户站点的新闻频道,甚至他们的其他频道,都是通过信息发布系统来管理和实现的,信息发布系统可以实现最简单的信息录入自动生成静态页面,还能具备频道管理、权限管理、自动抓取等功能,对于一个大型网站来说,拥有一套高效、可管理的CMS是必不可少的。
除了门户和信息发布类型的网站,对于交互性要求很高的社区类型网站来说,尽可能的静态化也是提高性能的必要手段,将社区内的帖子、文章进行实时的静态化,有更新的时候再重新静态化也是大量使用的策略,像Mop的大杂烩就是使用了这样的策略,网易社区等也是如此。
同时,html静态化也是某些缓存策略使用的手段,对于系统中频繁使用数据库查询但是内容更新很小的应用,可以考虑使用html静态化来实现,比如论坛中论坛的公用设置信息,这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中,这些信息其实大量被前台程序调用,但是更新频率很小,可以考虑将这部分内容进行后台更新的时候进行静态化,这样避免了大量的数据库访问请求。
2、图片服务器分离
大家知道,对于Web服务器来说,不管是Apache、IIS还是其他容器,图片是最消耗资源的,于是我们有必要将图片与页面进行分离,这是基本上大型网站都会采用的策略,他们都有独立的图片服务器,甚至很多台图片服务器。
这样的架构可以降低提供页面访问请求的服务器系统压力,并且可以保证系统不会因为图片问题而崩溃,在应用服务器和图片服务器上,可以进行不同的配置优化,比如apache在配置ContentType的时候可以尽量少支持,尽可能少的LoadModule,保证更高的系统消耗和执行效率。
3、数据库集群和库表散列
大型网站都有复杂的应用,这些应用必须使用数据库,那么在面对大量访问的时候,数据库的瓶颈很快就能显现出来,这时一台数据库将很快无法满足应用,于是我们需要使用数据库集群或者库表散列。
在数据库集群方面,很多数据库都有自己的解决方案,Oracle、Sybase等都有很好的方案,常用的MySQL提供的Master/Slave也是类似的方案,您使用了什么样的DB,就参考相应的解决方案来实施即可。
上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用DB类型的限制,于是我们需要从应用程序的角度来考虑改善系统架构,库表散列是常用并且最有效的解决方案。
我们在应用程序中安装业务和应用或者功能模块将数据库进行分离,不同的模块对应不同的数据库或者表,再按照一定的策略对某个页面或者功能进行更小的数据库散列,比如用户表,按照用户ID进行表散列,这样就能够低成本的提升系统的性能并且有很好的扩展性。
sohu的论坛就是采用了这样的架构,将论坛的用户、设置、帖子等信息进行数据库分离,然后对帖子、用户按照板块和ID进行散列数据库和表,最终可以在配置文件中进行简单的配置便能让系统随时增加一台低成本的数据库进来补充系统性能。
4、缓存
缓存一词搞技术的都接触过,很多地方用到缓存。
网站架构和网站开发中的缓存也是非常重要。
这里先讲述最基本的两种缓存。
高级和分布式的缓存在后面讲述。
架构方面的缓存,对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块,也可以使用外加的Squid模块进行缓存,这两种方式均可以有效的提高Apache的访问响应能力。
网站程序开发方面的缓存,Linux上提供的MemoryCache是常用的缓存接口,可以在web开发中使用,比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享,一些大型社区使用了这样的架构。
另外,在使用web语言开发的时候,各种语言基本都有自己的缓存模块和方法,PHP有Pear的Cache模块,Java就更多了,.net不是很熟悉,相信也肯定有。
5、镜像
镜像是大型网站常采用的提高性能和数据安全性的方式,镜像的技术可以解决不同网络接入商和地域带
来的用户访问速度差异,比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点,数据进行定时更新或者实时更新。
在镜像的细节技术方面,这里不阐述太深,有很多专业的现成的解决架构和产品可选。
也有廉价的通过软件实现的思路,比如Linux上的rsync等工具。
6、负载均衡
负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。
负载均衡技术发展了多年,有很多专业的服务提供商和产品可以选择,我个人接触过一些解决方法,其中有两个架构可以给大家做参考。
7、硬件四层交换
第四层交换使用第三层和第四层信息包的报头信息,根据应用区间识别业务流,将整个区间段的业务流分配到合适的应用服务器进行处理。
第四层交换功能就象是虚IP,指向物理服务器。
它传输的业务服从的协议多种多样,有HTTP、FTP、NFS、Telnet或其他协议。
这些业务在物理服务器基础上,需要复杂的载量平衡算法。
在IP世界,业务类型由终端TCP或UDP端口地址来决定,在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同决定。
在硬件四层交换产品领域,有一些知名的产品可以选择,比如Alteon、F5等,这些产品很昂贵,但是物有所值,能够提供非常优秀的性能和很灵活的管理能力。
Yahoo中国当初接近XX台服务器使用了三四台Alteon就搞定了。
8、软件四层交换
大家知道了硬件四层交换机的原理后,基于OSI模型来实现的软件四层交换也就应运而生,这样的解决方案实现的原理一致,不过性能稍差。
但是满足一定量的压力还是游刃有余的,有人说软件实现方式其实更灵活,处理能力完全看你配置的熟悉能力。
软件四层交换我们可以使用Linux上常用的LVS来解决,LVS就是LinuxVirtualServer,他提供了基于心跳线heartbeat的实时灾难应对解决方案,提高系统的鲁棒性,同时可供了灵活的虚拟VIP配置和管理功能,可以同时满足多种应用需求,这对于分布式的系统来说必不可少。
一个典型的使用负载均衡的策略就是,在软件或者硬件四层交换的基础上搭建squid集群,这种思路在很多大型网站包括搜索引擎上被采用,这样的架构低成本、高性能还有很强的扩张性,随时往架构里面增减节点都非常容易。
这样的架构我准备空了专门详细整理一下和大家探讨。
对于大型网站来说,前面提到的每个方法可能都会被同时使用到,我这里介绍得比较浅显,具体实现过程中很多细节还需要大家慢慢熟悉和体会,有时一个很小的squid参数或者apache参数设置,对于系统性能的影响就会很大,希望大家一起讨论,达到抛砖引玉之效。
用squid做webcacheserver,而apache在squid的后面提供真正的web服务。
当然使用这样的架构必须要保证主页上大部分都是静态页面。
这就需要程序员的配合将页面在反馈给客户端之前将页面全部转换成静态页面。
基本看出sina和sohu对于频道等栏目都用了相同的技术,即squid来监听这些IP的80端口,而真正的webserver来监听另外一个端口。
从用户的感觉上来说不会有任何的区别,而相对于将webserver直接和客户端连在一起的方式,这样的方式明显的节省的带宽和服务器。
用户访问的速度感觉也会更快。
带宽:
4000M/S(参考)
服务器数量:
60台左右
Web服务器:
Lighttpd,Apache,nginx
应用服务器:
Tomcat
其他:
Python,Java,MogileFS、ImageMagick等
关于Squid与Tomcat
Squid与Tomcat似乎在Web站点的架构中较少看到。
我首先是对Squid有点疑问,对此阿华的解释是"目前暂时还没找到效率比Squid高的缓存系统,原来命中率的确很差,后来在Squid前又装了层Lighttpd,基于url做hash,同一个图片始终会到同一台squid去,所以命中率彻底提高了"
对于应用服务器层的Tomcat,现在Yupoo!
技术人员也在逐渐用其他轻量级的东西替代,而YPWS/YPFS现在已经用Python进行开发了。
名次解释:
?
YPWS--YupooWebServerYPWS是用Python开发的一个小型Web服务器,提供基本的Web
服务外,可以增加针对用户、图片、外链网站显示的逻辑判断,可以安装于任何有空闲资源的服务器中,遇到性能瓶颈时方便横向扩展。
YPFS--YupooFileSystem与YPWS类似,YPFS也是基于这个Web服务器上开发的图片上传服务器。
?
【Updated:
有网友留言质疑Python的效率,Yupoo老大刘平阳在上写到"YPWS用Python
自己写的,每台机器每秒可以处理294个请求,现在压力几乎都在10%以下"】
图片处理层
接下来的ImageProcessServer负责处理用户上传的图片。
使用的软件包也是ImageMagick,在上次存储升级的同时,对于锐化的比率也调整过了(我个人感觉,效果的确好了很多)。
”Magickd“是图像处理的一个远程接口服务,可以安装在任何有空闲CPU资源的机器上,类似Memcached的服务方式。
我们知道Flickr的缩略图功能原来是用ImageMagick软件包的,后来被雅虎收购后出于版权原因而不用了(?
);EXIF与IPTCFlicke是用Perl抽取的,我是非常建议Yupoo!
针对EXIF做些文章,这也是潜在产生受益的一个重点。
图片存储层
原来Yupoo!
的存储采用了磁盘阵列柜,基于NFS方式的,随着数据量的增大,”Yupoo!
开发部从07年6月份就开始着手研究一套大容量的、能满足Yupoo!
今后发展需要的、安全可靠的存储系统“,看来Yupoo!
系统比较有信心,也是满怀期待的,毕竟这要支撑以TB计算的海量图片的存储和管理。
我们知道,一张图片除了原图外,还有不同尺寸的,这些图片统一存储在MogileFS中。
对于其他部分,常见的Web网站必须软件都能看到,如MySQL、Memcached、Lighttpd等。
Yupoo!
一方面采用不少相对比较成熟的开源软件,一方面也在自行开发定制适合自己的架构组件。
这也是一个Web公司所必需要走的一个途径。
非常感谢一下Yupoo!
阿华对于技术信息的分享,技术是共通的。
下一个能爆料是哪家?
--EOF--
lighttpd+squid这套缓存是放在另外一个机房作为cdn的一个节点使用的,图中没描绘清楚,给大家带来不便了。
squid前端用lighttpd没用nginx,主要是用了这么久,没出啥大问题,所以就没想其他的了。
URLHash的扩展性的确不好,能做的就是不轻易去增减服务器,我们目前是5台服务器做一组hash.我们现在用Python写的WebServer,在效率方面,我可以给个测试数据,根据目前的访问日志模拟访问测试的结果是1台ypws,平均每秒处理294个请求(加载所有的逻辑判断)。
在可靠性上,还不没具体的数据,目前运行1个多月还没有任何异常。
lvs每个节点上都装nginx,主要是为了反向代理及处理静态内容,不过apache已显得不是那么必需,准备逐渐去掉。
我们处理图片都是即时的,我们目前半数以上的服务器都装了magickd服务,用来分担图片处理请求。
/retype/zoom/6d5b2d79168884868762d647?
pn=5&x=0&y=43&raww=14&rawh=15&o=png_6_0_0_151_858_16_17__&type=pic&aimh=15&md5sum=98044c61e2ad22ac281845bdc52d44b9&sign=9be1053a59&zoom=&png=48506-49360&jpg=441-1140"target="_blank">点此查看
1.while(true)
2.{
_and_fix_bottlenecks();
();
();
_new_bottleneck();
7.}
每天运行该循环多次
Web服务器
篇三:
公司网络web服务器负载均衡解决方案
随着公司产品业务的推广发展壮大,对服务器的硬件性能、相应速度、服务稳定性、数据可靠性的要求越来越高。
今后服务器的负载将难以承受所有的访问。
从公司的实际情况,运营成本网络安全性考虑,排除使用价格昂贵的大型服务器、以及部署价格高昂的专用负载均衡设备。
DNS轮询负载均衡解决方案虽然成本低廉但是安全性能不是很好,加上公司产品的特殊性需要用户验证的体系,在会话保持方面是一大缺陷,会话保持,如果是需要身份验证的网站,在不修改软件构架的情况下,这点是比较致命的,因为DNS解析无法将验证用户的访问持久分配到同一服务器。
虽然有一定的本地DNS缓存,但是很难保证在用户访问期间,本地DNS不过期,而重新查询服务器并指向新的服务器,那么原服务器保存的用户信息是无法被带到新服务器的,而且可能要求被重新认证身份,来回切换时间长了各台服务器都保存有用户不同的信息,对服务器资源也是一种浪费。
企业还有另一种选择解决难题,构建集群服务器----通过整合多台相对低廉的普通服务器,以同一个地址对外提供相同的服务。
LVS负载均衡集群解决方案是目前企业最常见运用范围最广的一种集群技术。
一、Web服务集群负载均衡理论思路
负载均衡的思路下多台服务器为对称方式,每台服务器都具备等价的地位,都可以单独对外提供服务而无须其它服务器的辅助。
然后通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器都独立响应客户机的请求。
由于建立内容完全一致的Web服务器并不复杂,可以使用服务器同步更新或者共享存储空间等方法来完成,因此负载均衡技术就成为建立一个高负载Web站点的关键性技术。
二、公司外网服务器的网络环境及工作模式的选择
Lvs负载均衡的工作模式一共有三种,分别是
1、networkaddresstranslation地址转换模式;
2、iptunnelIP隧道模式;
3、directrouting直接路由模式。
这3种工作模式中,NAT模式只需要一个公网ip,成为最简易的负载均衡模式,安全性比较好,相对而言DR模式的负载能力更为强大、适用范围更广。
下面我们对DR工作模式进行具体的研究;
DR工作模式采用半开放式的网络结构,各节点服务器与调度器处在同一个物理网络,负载均衡调度器与各节点服务器使用本地网络相连,客户端请求访问会请求调度器的虚拟IP地址,服务器响应不经过调度器,直接响应客户端。
DirectRouting工作模式客户端请求及服务器响应流程
基于DR模式的LVS负载均衡集群的网络架构
三、操作流程及实施步骤
针对公司部署的实际情况我们可以DR直接路由的工作模式为实施方案,
具体操作步骤流程如下:
LVS现在已成为Linux内核的一部分,默认编译为ip_vs模块,必要时能够自动调用。
以下操作可以手动加载ip_vs模块,并查看当前系统中ip_vs模块的版本信息
modprobeip_vs
//加载ip_vs模块,
1.cat/proc/net/ip_vs//查看ip_vs版本信息
---安装管理软件------
1.rpm-ivh/mnt/Packages/
2.serviceipvsadmstart//启动服务
以上这些操作在调度服务器上做一下就好了,节点服务器不用安装这些的
———————————————————————————————————-----常用命令的解释如下:
------
LVS的负载调度算法有四种最常用的:
轮询算法(rr)、加权轮询(wrr)、最少轮询(lc)、加权最少轮询(wlc)
1)创建虚拟服务器
群集的VIP地址为,针对TCP80端口提供负载分流服务,使用的轮询调度算法。
对于负载均衡调度器来说,VIP必须是本机实际已启用的IP地址
ipvsadm-A-t:
80-srr
//选项"-A"表示添加虚拟服务器,"-t"用来指定VIP地址及TCP端口,"-s"用来指定负载调度算法——rr、wrr、lc、wlc
2)添加服务器节点
1.ipvsadm-a-t:
80-r:
80-m
2.ipvsadm-a-t:
80-r:
80-m
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 浅析 web 集群 架构 解决方案