水利部容灾备份系统方案设计论Word文件下载.docx
- 文档编号:182068
- 上传时间:2023-04-28
- 格式:DOCX
- 页数:22
- 大小:495.87KB
水利部容灾备份系统方案设计论Word文件下载.docx
《水利部容灾备份系统方案设计论Word文件下载.docx》由会员分享,可在线阅读,更多相关《水利部容灾备份系统方案设计论Word文件下载.docx(22页珍藏版)》请在冰点文库上搜索。
Keywords:
Data;
Disasterrecovery;
Recovery;
Backups
第1章绪论
1.1课题背景
中国淡水资源总量占全球水资源6%,居全球第四位,中华人民共和国水利部作为全球第四大水资源管理机构及国家水行政主管部门,主要负责制定全国水利工作的方针政策、发展战略和中长期规划,组织起草有关法律法规并监督实施,承担了防汛抗旱指挥、水资源管理、水土保持、电子政务、农村水电、水利公众服务等水利各项工作,在改造传统水利、发展民生水利、提高水利管理能力和服务水平等方面发挥着重要的作用。
随着水利部信息中心信息化工作的快速推进,有效支撑了水利部的各项工作,水利信息化已成为水利现代化的基础支撑和重要标志,水利部各项业务对水利信息系统的依赖程度逐渐提高,对信息系统可靠性的要求也不断提高,迫切需要开展水利信息系统容灾备份体系建设。
但面临如下几个问题:
(1)关键业务永续,数据不丢失
对水利部系统出现一旦存储设备发生异常情况或灾难,业务应用能够及时切换到另一设备上继续运行,保证业务服务的不间断运行,即建立应用级容灾体系;
对于其他业务系统,要实现两存储设备的实时同步,即建立起数据级容灾体系
(2)为多类业务提供高可靠、高性能及低延时的存储服务
满足多类业务数据的高可靠、高性能、低延时的读写需求,同时解决现网存储平台扩展能力有限、TCO(TotalCostofOwnership,总所有成本)较高及难以统一运维的问题;
水利部主中心现网的核心数据库、数据库主存储、NAS(NetworkAttachedStorage,网络附加存储)存储、备份用的虚拟带库等要利旧。
1.2本论文的研究内容
本文以水利部为实例,结合华为存储设备功能与特性,对水利部的数据集中存储、容灾与备份等信息化建设进行具体分析与具体规划,以期解决水利部在数字化建设发展过程中所遇到的问题,对水利部数字化的规划和建设起了一定的参考作用。
本文的研究还在融合实例的基础上,阐述了现阶段数据领域关于集中存储、容灾与备份等先进的关键技术,具有较强的理论研究意义。
此外,通过本论文的研究,不仅对水利部信息化建设,也为类似规模的其他机构信息化建设和规划提供了有益的理论知道和研究思路,并且这些机构还可以依据自身的实际情况适时地做些相应的调整。
这也赋予了本论文的研究强有力的现实意义和较高的实用价值。
第2章相关技术背景
2.1数据集中统一存储
2.1.1存储技术和架构的发展
在一个计算机环境下,用来存储数据设备被称为存储设备(Storagedevice,或简称Storage)。
存储设备是存储系统环境中最重要的组成部分。
随着计算机和通信技术的发展,产生数据和共享数据的速度也呈指数增长。
而这些记录着是原始事实的数据必须首先通过存储起来,才能在进一步处理时进行共享和利用。
信息技术的变革带动着存储技术在一步步提升。
在早期,所有组织在其数据中心都有几种的计算机和数据信息存储设备,如磁带卷和磁盘架。
存储设备部署的简单性和易用性使得不同的部门都可以拥有自己的服务器和存储设备,而这些存储设备大都是在服务器内部。
然而这些基于分散的企业部门内部服务器而存储的方式和技术使得信息难于保护,难于管理,难于共享利用,并产生了信息孤岛以及增加了操作的开销。
同时有限的策略和方法来管理这些服务器和其创建的数据并不能满足利用数量并产生效益的需求,所以存储技术从非智能化存储发展到了当今的只能网络存储。
存储的技术也经历了最初的从基于服务器的存储(DirectAttachedStorage,DAS),发展到了基于网络的互联存储模式NAS(NetworkAttachedStorage,网络附加存储),SAN(StorageAreaNetwork,存储局域网络),以及IP存储区域网(InternetProtocolSAN,IPSAN)模式。
数据存储在其存储容量和读写速度上有较大幅度的提高
[1]。
目前的网络存储技术大致发展为四大架构:
1直接连接存储(DAS)
DAS是以服务器为中心的存储体系,存储设备直接挂接在各种服务器或者客户机的后端,直接由服务器或客户机控制。
它本身不带任何存储操作系统,而是由运行在服务器上或者客户机上的操作系统或者其他第三方软件兼容。
存储设备可以在服务器内部或者外部。
服务器外部的直连存储缓解了内部存储容量的限制。
当用户数量增加或服务器正在提供服务或运算时,直连存储的响应速度会变慢。
2网络附加存储(NAS)
NAS是以网络为中心面向文件服务的结构方式。
它通过现有的通信网络(LAN)连接,为不通的客户提供文件访问。
NAS存储设备是单独作为一个文件服务器直接连接在网络上的,应用和数据存储部分不再同一服务器上,网络中设备的数据全部存储在NAS存储设备中,应用服务器通过标准LAN的接口与作为网络文件系统的数据服务器连接。
由于它主要是为文件服务类型提供存储服务的,能将文件从网络中独立出来,降低了服务器的负载,从而较好提高了整个网络的性能。
这也决定了NAS存储具有较其他文件服务器更高的扩展性、可用性,更强的性能和更低的成本。
3FC存储区域网络(FC-SAN)
FC-SAN是一种以光纤通道(FiberChannel,FC)实现服务器和存储设备之间通讯的网络结构。
这是一个专用的、高性能的光纤通道网络,用来完成服务器和存储设备之间的快速通信。
服务器和存储系统通过高带宽FC交换机相连,各应用客户机通过局域网访问服务器,各存储设备之间交换数据时可以不通过服务器,能有效减少大流量数据传输时发生的阻塞和冲突,较大程度减轻服务器承受的压力,具有很强的灵活性和伸缩性。
4IP存储区域网络(IP-SAN)
IP-SAN是以ISCSI为代表的以TCP/IP作为传输方式的网络存储系统。
这种基于IP的存储区域网是存储架构里最新发展。
IPSAN提供了快级别数据在局域网和广域网的传输,这样,就使得IPSAN的扩展性变成了无限,使存储具有更高的数据融合性和可用性[2]。
2.1.2存储的数据类型
在存储过程中,数据是存储的服务对象。
大量的商业、非商业活动过程产生了大量的数据。
根据如何存储和管理,我们可以将数据进一步地划分成两个类型。
1结构化数据
存储在数据库里,可以用二维表结构来表达实现的数据,我们称之为结构化数据,也称块数据(Block),如数字、符号。
结构化数据行和列这种严格的格式组织,以便应用者能够更加高效地检索和处理。
结构化数据通常用数据库管理系统存储[3]。
2非结构化数据
无法用数字或统一的结构表示,我们称之为非结构化数据,也称文件数据(File),如文本、图像、声音、网页等。
这种数据较结构化数据难以被检索和查询[4]。
2.1.3统一存储
如何将不同的存储架构和不同的数据有机地融合起来达到统一管理的目的?
统一存储应运而生。
所谓统一存储实际上是一种网络存储架构。
它包含着多种协议,系统可以通过IP或光纤通道(FC)连接至服务器。
这种多协议存储阵列是一个集中式磁盘阵列,通过基于IP或FC的网络提供给主机系统,实现块级访问。
统一存储还配备了多端口存储控制器,管理界面让存储管理员可以创建硬盘域和存储池,并分配给相应端口以便访问。
常见的端口组合包括NAS和光纤通道,或者ISCSI和光纤通道[5]。
这种对不通类型数据通过多种协议实行统一管理的统一存储有一些出色的用途:
(1)多种类型数据的支持,为所需的使用类型配置单一资源,包括块或文件。
如非结构化数据的文件存储占主导位置,但仍需要一些块存储(比如oracle数据库),那么统一存储系统允许将它们整合到单一平台上。
(2)端口的多样性,为需求可能会发生变化而要稍稍改动的存储的企业提供了出色的灵活性。
(3)统一的管理界面简单话存储管理员的繁杂工作[6]。
2.2数据备份技术
2.2.1数据备份概述
数据备份是指防止系统出现操作失误或者系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其他的存储介质的过程。
创建和保护它的唯一目的是希望用它恢复被删除或损坏的数据。
备份包括系统备份和文件(数据)备份:
系统备份即将操作系统文件备份生成文件保存下来,当系统出现问题时可以将这个备份文件恢复到备份时的状态;
而文件(数据)备份即对重要数据资料如:
文档、数据库、记录、进度等备份下来生成一个备份文件放在安全的存储空间里,当发生数据被破坏或丢失时可将原备份文件恢复到备份时的状态。
一般备份工作用备份软件来处理[7]。
2.2.2数据备份的几种方式
1LAN-BASE备份方式
中央备份服务器接受运行在客户机上的备份代理程序的请求,将数据通过LAN传递到它所管理的、与其连接的本地备份介质上。
这种方式提供了一种集中的、易于管理的备份方案,并共享备份介质。
但这种传送会影响网络性能。
当多个客户端获取并共享时,网络资源便严重受限[8]。
如图2.1所示。
图2.1基于LAN网络的备份
2LAN-FREE备份方式
在LAN-FREE备份客户端软件的触发下,读取备份的服务器上需要备份的数据,通过SAN备份到共享的备份介质。
这种独立网络可以使LAN流量得以转移,但是占用备份主机的CPU等资源[9]。
如图2.2所示。
图2.2LAN-FREE备份图
3Server-Free备份方式
基于LAN-FREE,在SAN环境中设置专有的备份服务器,直接完成备份作业,管理SAN中被共享的备份设备,接受其他服务器或客户端的备份请求,按优先级将所有的备份作业进行排队管理,控制备份数据在SAN中传输。
其具有不占用网络资源和备份主机资源的优点[10]。
如图2.3所示。
图2.3Server-Free备份图
2.3容灾系统
2.3.1容灾概述
容灾从广义上对于IT而言,就是提供一个能防止用户业务系统遭受各种灾难影响破坏的计算机系统。
从侠义的角度,我们所谈论的容灾是指,除了生产站点以外,用户另外建立的冗余站点,当灾难发生,生产站点收到破坏时,冗余站点可以接管用户正常的业务,达到业务不中断的目的。
从容灾的层次上分成数据容灾和应用容灾。
数据容灾是指建立一个备用的数据系统,该备用系统对生产系统的关键数据进行备份。
应用容灾则是在数据容灾之上,建立一套与生产系统相当的备份应用系统。
在灾难发生后,将应用迅速切换到备用系统,备份系统承担生产系统的业务运行。
数据容灾是应用容灾的基础,没有数据的一致性,就没有应用的连续性,应用容灾也是无法保证的。
容灾表现为一种未雨绸缪的主动性,而不是在灾难发生后的“亡羊补牢”[11]。
2.3.2几种容灾技术方案
对所有客户的容灾技术平台建设而言,容灾方案技术的核心是数据的保护,实现远程数据复试,并能够在灾难发生时在远端利用复制数据提供企业业务运营支撑服务,因此数据复制技术是构建容灾技术平台的核心。
根据不同容灾方案所采用数据远程复制技术位于企业IT架构不通层面可以分为以下三类容灾方案:
1基于存储层的容灾方案
基于存储层的容灾方案的技术核心是利用存储阵列自身的盘对盘阵的数据块复制技术实现对生产数据的远程拷贝。
在主数据中心发生灾难时,可以利用灾备中心的数据在灾备中心建立运营支撑环境,为业务继续运营提供IT支持。
同时也可以利用灾备中心的数据恢复主数据中心的业务系统,从而能够让企业的业务营运快速回复到灾难发生前的正常运营状态。
2基于主机的容灾方案
基于主机系统的容灾方式的核心是利用主备中心主机系统通过IP网络建立数据传输通道,通过主机书记管理软件实现数据的远程复制,当主数据中心的数据遭到破坏时,可以从备份中心恢复应用或从备份中心恢复数据,从而给企业提供了应用系统容灾的能力。
3基于应用的容灾方案
基于应用之间的数据复制技术也有很多种,以下按照常用的oracle自带的oracledataguard技术来进行分析。
Dataguard的基本原理是在与主系统完全一直的硬件和操作系统平台上建立后备数据库系统,同时对主数据库日志和控制文件等关键文件进行备份,在主系统正常工作的同时将主系统产生归档日志文件不断的传送到后备数据库系统,并利用这些日志文件在后备数据库系统上连续进行恢复操作,以保持后备系统与运行系统的一致。
当主系统发生故障时,使用备份的数据库日志文件在后备数据库上恢复主数据库的数据[12]。
2.3.3几种容灾方式优缺点对比
1基于存储层的容灾方案
优点:
(1)独立于主机和应用,对各种应用都适合,且完全不消耗主机的处理资源;
(2)受应用、主机环境等相关技术的影响最小,非常适合于主机和业务系统很多、很复杂的环境,采用此种方式可以有效降低实施和管理的难度;
采用异步远程复制方式虽然存在一定的数据丢失的风险,但是没有距离限制,可以实现远距离保护;
(3)采用同步方式可以完全不丢失数据,在同城容灾或者园区内容灾方案中,只要通信链路带宽许可,完全可以采用同步方案,而不会对主数据中心的生产系统产生显著影响。
缺点:
(1)通常必须采用同一家的存储平台,通常也必须是同一系列的存储产品,给用户的存储平台选择带来一定限制;
(2)采用同步凡是可能对生产系统性能产生影响,而且对通信链路要求较高,有距离限制,通常在近距离范围内实现[13]。
2基于主机的数据复制技术建设容灾方案
(1)只对服务器平台和主机软件有要求,完全不依赖于底层存储平台,生产数据中心和后备数据中心可以采用不同的存储平台;
(2)可以满足用户的不同数据保护要求,提供多种不通的数据保护模式;
(3)基于IP网络,没有距离限制
(1)基于主机的方案需要同种主机平台;
(2)生产主机既要处理生产请求,又要处理远程数据复制,必须消耗生产主机的计算资源,因而对主机性能产生较大影响,甚至是产生严重的影响;
(3)利用主机数据复制软件的方案比较复杂,尤其是数据库应用结合的时候需要很复杂的机制或多种软件的结合;
(4)如果有很多系统、多种应用需要容灾,该方案无统一的技术方案来实现;
(5)管理复杂,需要大量的人工干预过程,容易发生错误[14]。
3基于存储层面的容灾方案
(1)通过oracle数据库机制来实现,不依赖于其它软件和底层存储平台;
(2)可以满足用户的不同性能、数据保护要求,提供多种不同数据保护模式;
(3)可以实现一对多的数据复制,提供多重保护;
(4)后备数据库可以在短时间内提升呢个到生产状态。
(5)基于IP网络,没有距离限制。
(1)Oracledataguard将对生产数据库系统的性能产生影响;
只能对oracle数据库提供保护,不能对其他应用数据提供灾难保护;
(3)管理复杂,需要大量的人工干预,且要精通数据库恢复技术,易错;
(4)难实现大数据量源数据库和目标数据库初次同步,没有相应解决方案。
综上,对于各种容灾方式的对比,基于存储的容灾技术方案仍然是当前最优先选择的容灾技术平台。
2.4本章小结
本章从技术角度对数据中心的存储,备份及容灾三个方面做了一个简单的介绍,针对论文中涉及的这三个系统分别进行了基本概念的阐述以及相关技术知识的介绍,使读者对数据中心的存储、备份和容灾有个基本的了解,对备份的方式和容灾方案有个基本的认识,为下几章的需求分析和方案分析打下理论基础。
第3章系统的需求分析
3.1信息建设背景
随着水利信息化的发展,水利信息系统规模越来越大,对信息系统运行质量要求越来越高,任务越来越重,管理越来越复杂。
如何有效地管理和维护现有的信息系统,保证其高效、稳定、安全运行,降低运营成本,提高工作效率及资源利用率,确保其发挥效益,支撑水利工作,已成为一项十分紧迫而艰巨的任务。
水利部水利信息中心网络中心承担水利部信息系统的运行保障工作,包括:
水利部机关终端计算机、局域网(政务外网和内网)、水利信息网骨干网、主机及存储备份系统、数据库与中间件等应用支撑系统、电子政务系统、防汛抗旱指挥系统、异地会商视频会议系统、水利部网站等运行维护。
为了应对不断发展的水利部信息系统运行保障工作,网络中心从
2004
年开展了水利信息系统运行保障平台研究与应用工作,并应用研究成果建设水利部信息系统运行保障体系。
3.2项目需求
对于现行业务没有容灾保护的场景下,在面对灾难时,将面临数据丢失,业务时间中断风险。
传统的单一站点的各种弊端和诸多不变,主要体现在以下几个方面:
(1)难以有效保护核心数据库:
单一站点在面对突发灾难或者时间的时候,无法保护数据的完整性。
一旦整个站点在地震等大规模灾难中彻底损坏,客户将面临数据全部丢失的风险。
(2)难以提供合理的RPO(RecoveryPointObjective,恢复点目标)和RTO(RecoveryTimeObjective,恢复时间目标):
单一站点存在无法提供一个较小的RPO和RTO限制。
(3)系统维护困难:
在对单一站点进行维护时,会面临长时间停止业务的风险,对于一个企业来说,业务停止的时间越长,企业收到的影响就越大。
(4)难以有效利用现有存储资源:
企业在更换更好性能存储设备后,如何有效利用陈旧设备是一个难题。
(5)难以实现本地存储高可用:
目前的单一存储很难提供有效的本地高可用支持,通过上层的应用软件来实现会影响上层业务的性能。
对于企业来说,如何在不影响业务运行的情况下实现本地存储高可用是一个难题。
针对上述问题,建议使用点对点容灾方案。
点对点容灾方案帮助企业解决数据保护问题,降低系统维护难度,充分利用企业资源,通过存储虚拟化技术实现本地高可用,为企业业务稳定、可靠的运行提供整体的解决方案。
3.3华为存储设备点对点整体方案优势
华为存储设备针对此方案主要
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 水利部 备份 系统 方案设计