1、保险行业数据库复制解决方案概要 SharePlex for Oracle 保险行业解决方案Quest虹天软件(北京有限公司2008年6月 目录1保险行业数据复制需求 (31.1报表分离 (31.2数据级容灾 (32Shareplex数据库复制解决方案 (42.1报表分离 (42.1.1配置情况 (52.1.2查询业务分离 (52.1.3查询数据的选择 (52.2数据容灾 (52.2.1数据安全性 (62.2.2业务连续性 (62.2.3报表查询业务的分担 (63SharePlex数据复制技术 (73.1SharePlex技术原理 (73.1.1基本结构 (73.1.2数据捕获 (73.1.3数
2、据传输 (83.1.4应用数据 (83.2复制模式 (93.2.1单向复制 (93.2.2双向复制 (93.2.3广播复制 (93.2.4合并复制 (93.2.5层叠复制 (103.3SharePlex主要技术指标 (113.4SharePlex解决方案的优势 (123.4.1目标数据可访问 (123.4.2保证事务的一致性 (123.4.3对源系统性能的影响 (123.4.4数据延迟 (123.4.5对网络资源的使用 (123.4.6对双机集群(HA cluster软件的支持 (133.4.7强大的容错能力 (133.4.8灵活性和扩展性强 (133.4.9建立复制环境的工作量 (133.4
3、.10优秀的售后服务 (134成功案例 (144.1保险行业客户 (144.2太平人寿 (144.3新华保险 (16 5解决方案优势 (185.1值得信赖的公司 (185.2产品成熟性 (185.3产品稳定性 (185.4技术先进性 (195.5技术支持和服务 (19 1 保险行业数据复制需求改革开放以来,我国保险行业的发展每年以35%左右的速度发展。特别是加入WTO后,对保险行业的需求进一步加强,外资保险公司的加盟,使竞争更加激烈。随着市场的进一步开放,会有更多的保险公司进入中国市场,为国内带来给好的保险理念与产品的同时,竞争也随之加剧。保险行业的竞争最大的特点在于为客户提供给优质与个性化的
4、服务。这种特性决定了企业信息化建设对保险公司更加重要。如何加强对客户的把握,如何为客户选择最佳的产品,如何进行有效的市场开拓,增强自身的竞争力,在激烈的竞争中领先于你的对手,是各保险公司经常考虑的问题。保险行业核心系统一般为全国集中系统,要求7*24小时提供服务,重要性极高。由于保险公司的类型和经营策略的不同,IT发展的思路也各具风格,因此业务系统会不尽相同,但大多会有如下的需求:1.1 报表分离为避免各类事务处理型应用和统计分析型应用互相干扰,提高各自性能效率,需要将统计业务从生产系统中分离出来,对应用以及核心数据库进行分层划分,具体内容如下:应用分层应用程序模块根据业务分层内容,对应划分为
5、:“前台应用”和“后台应用”。“前台应用”主要负责联机事务处理(OLTP;“后台应用”主要负责即时信息查询和决策支持分析(OLAP处理。一般面向保险业务员和保险代理人的业务多为OLTP处理,面向保险公司内部的业务多为OLAP处理。数据分层配合应用的分层,技术设计方面需要将核心数据库划分为前台生产数据库(供联机事务处理所用和后台统计分析数据库(供即时信息查询和决策支持分析所用,彻底规避事务处理和统计分析的相互影响。数据分层也需要考虑实时数据和历史数据,一般来说,“前台应用”主要针对实时数据的访问,而“后台应用”则可能需要对长期的历史数据进行分析。1.2 数据级容灾数据集中模式的采用使数据的安全性
6、和业务连续性变得非常重要。业务连续性是保险行业服务质量的基本保证,能够有效地恢复数据是企业赖以生存和发展的前提。但是对于一些灾难性的事件如地震、火灾等突发事件,任何一地可靠性措施都是不能够避免业务的中断和数据的丢失,因此建立容灾系统已成为保险业务系统建设中必不可少的一部分。通过建立实时或准实时的容灾数据库,在出现数据损失时不仅可以保证关键业务数据的及时恢复,也可以确保应用程序的及时接管,将故障对应用系统的影响降到最低。 2 Shareplex数据库复制解决方案采用目前业界普遍使用的数据库复制技术可以满足上述复制需求。Quest Software的SharePlex for Oracle通过数据
7、库逻辑层的复制技术,可以方便地实现Oracle数据库的容灾保护,具有对源系统资源占用少,对网络资源占用少,支持异构环境和不同的复制拓扑,保持事物一致性的特点,是保险行业的首选复制方案。2.1 报表分离报表分离的解决方案见下图: 生产系统数据库查询系统数据库数据库复制软件可以将生产系统的数据实时复制到目标系统,将生产系统用于前台业务,主要进行OLTP操作。而目标系统可以作为后台系统,进行OLAP及查询操作。设计方面考虑因素:应用分离考虑:可以将统计报表、实时查询、下级机构的查询和分析、数据仓库的数据抽取等应用放到目标系统,分担生产系统的压力。性能考虑:目标数据库和生产数据库相互独立,目标数据库中
8、可以建立不同的数据库配置参数,不同的Index ,可以按照两个系统的特点进行优化。历史数据考虑:可以将历史数据放到目标系统,原系统的数据量减少,能够更好地保障性能,实现业务连续性和系统备份。目标系统的历史数据和实时数据可以用作统计和综合查询。安全性考虑:通过将很多内部用户的应用移到目标系统,从而提高了生产系统的安全性。 2.1.1 配置情况生产系统本方案中生产系统为单机或双机系统,为最终用户提供数据访问。查询系统查询系统数据库为生产系统数据库的子集,仅包括需要查询及统计部分数据;查询机对通过生产系统复制过来的数据只有访问的权限没有修改的权限。SharePlex配置SharePlex分别安装在生
9、产系统和查询系统,通过激活配置文件的方式建立生产系统到查询系统的复制链路。2.1.2 查询业务分离查询与报表统计是保险行业的重要业务之一,但是在生产系统上运行查询统计,将给生产系统带来极大的系统开销,甚至影响正常保险业务的运行。本方案通过SharePlex数据复制功能,建立了一个独立的查询数据库,在不影响生产系性能的同时,为查询及报表业务提供了一个与生产系统同步的数据源。由于使用了单独的查询系统,用户可根据查询业务的特点,对数据库的参数及索引等配置进行选择,最大程度的优化了查询业务的性能。2.1.3 查询数据的选择查询和报表统计应用通常不需要访问全部的生产数据,在本方案中,用户可以根据自己的实
10、际需求,对需要同步的数据进行筛选,以表为单位进行复制,同时对于一些表中的敏感数据还可以定义仅复制该表中的部分字段或仅复制符合某些条件的记录,在保证查询业务的同时也可保证敏感数据的安全性。目标表也可以和源系统采用不同的分区设计,在目标表中存储历史数据,实现将实时数据和历史数据分开的目标。2.2 数据容灾针对保险行业,数据库复制软件可以用于以下容灾场景:(1异地数据容灾:Shareplex for Oracle具有网络资源占用少,对主机资源占用少,配制灵活等特点,非常适用于异地数据容灾。复制软件可以对业务数据进行实时备份,保障了企业最宝贵的资产-数据的安全。(2本地数据容灾:Shareplex解决
11、方案复制的目标系统实时可用,能够快速进行容灾接管,保障业务的连续性。可以和已有的硬件容灾方案相结合,保障系统的高可用性。数据容灾方案结构见下图: 生产系统数据库灾备系统数据库2.2.1 数据安全性本方案中数据安全性的保障主要有容灾系统数据库提供,当生产系统数据库出现意外故障数据丢失,且本地备份无效时,可通过容灾数据库中的数据来实现接近零数据损失的灾难恢复,确保核心业务数据的安全。2.2.2 业务连续性当生产系统数据库整个站点出现灾难无法使用时,应用程序可以立即接管到异地的容灾数据库上,由于容灾数据库一直处于打开的状态,所以接管时间基本等于应用程序修改数据库连接的时间。2.2.3 报表查询业务的
12、分担SharePlex的解决方案是一个平战结合的容灾方案,在发生灾难时刻以保证数据的安全性及业务的连续性,同时,系统正常运行时,又可当作报表查询的数据源,最大的保证了系统建设的投资回报。分离出来的报表查询系统,可以大大降低生产系统的资源占用,确保生产系统性能不受查询报表业务的影响。 3 SharePlex数据复制技术SharePlex是Quest公司为关键业务系统推出的一个完全的数据库复制软件。它一个是实时的、冗余、流程化的数据库复制方案,专门为Oracle数据库设计和开发。SharePlex for Oracle采用业界内独特的技术、领先的产品结构确保企业实现其高可用性和高性能的管理目标。3
13、.1 SharePlex技术原理3.1.1基本结构下图所示为SharePlex for Oracle的基本结构,其中涉及较多的技术细节。 3.1.2数据捕获SharePlex for Oracle中由捕获进程来收集发生变化的数据,此进程的独特之处在于它几乎不对生产数据库带来任何开销。此捕获过程中完成的操作为:捕获进程从Oracle 日志文件中读取信息,因此复制过程不会给生产数据库实例带来性能问题只有发生改变的数据被传输,而不是日志文件中的全部信息,因此SharePlex的网络负载非常小尽管需要在Oracle数据库中安装少量的对象用来存储有关复制的一些基本信息,但源数据库不需要参与到数据捕获和传
14、输过程中 SharePlex的捕获进程不但可以读取在线的日志文件,而且可以读取归档日志,甚至当归档日志文件被移动到其它设备上时,SharePlex会发出提示信息。正是这种能力极大地增强了系统的冗余功能。例如,如果捕获进程由于某种原因被停止,当它重新启动后数据同步不会受到影响捕获进程驻留在源系统上,自动读取Oracle的在线日志文件。这种读操作是从操作系统的角度来完成的,而不是通过数据库。通过将日志文件作为获取变化信息的源泉,Quest 可以完成数据的复制而不会给生产系统带来额外的开销。由于Oracle使用日志文件进行系统恢复,因此日志文件信息足够,其数据格式也足够稳定。Quest ShareP
15、lex 目前已支持从Oracle 7.3.4 至Oracle 10g 之间的所有版本。捕获进程连续监控日志文件用以捕捉变化信息。当日志文件中出现一条新记录时, SharePlex判断其是否属于被复制对象,如果是,则SharePlex为该条记录加入用于决定此记录将被发向那个主机的地址信息并将包含地址信息的记录存放到自己的队列中,存储队列存在于数据库之外。发生改变的数据被立即处理并被发送到目标系统中而不等待提交或回滚动作的完成,因为等待提交或回滚完成将带来延迟。当提交或回滚信息被写入日志文件时,它们也将被发送到目标系统中,从而在目标系统中完成相对应的操作。3.1.3数据传输SharePlex结合其
16、自己的网络协议和TCP/IP协议来完成源和目标系统之间的数据传输。其相关的进程确保数据的正确接收和网络数据包的正确顺序,从而提供网络传输冗余,确保数据的完整。整个数据传输过程无需其它的中间件。3.1.4应用数据应用进程将传送到目标系统中的信息转化为SQL语句,然后发送给Oracle执行。SharePlex能够实现精确复制的一个重要原因就是其能保证从源数据库到目标数据库的Oracle读一致性,不但按顺序复制事务,而且也复制上下文信息,将源数据库中发生变化的全部事务信息都复制到目标数据库中。 3.2 复制模式SharePlex支持多种灵活的复制模式,主要包括:3.2.1单向复制单向复制以生产系统作
17、为复制时的数据源,若目标数据库仅用于报表和查询,则该副本可能是生产数据库的一个子集,只包括报表和查询所需内容,而非源系统的所有信息。SharePlex 允许用户在目标数据库中采用不同于源数据库的数据模式,并使用专为提高查询效率而建立的索引、主键和分区等。这种简单、高效的复制方案,可满足任何需通过剥离报表和查询来改善系统性能的需求。这种水平扩展方案可不必引入冲突解决和锁管理机制,而直接卸载生产系统压力。 3.2.2双向复制双向复制是高可用型数据复制的典型配置。这种方式能在正常工作方式下,将主数据库的数据更新复制到从属系统;一旦主系统出现故障,业务处理需要切换到从属系统时,即配置为自从属系统向主系
18、统的逆向复制。这种配置要求目标例程处于可读写状态,并具有较高的可靠性。只需短暂的中断,业务处理即可迅速恢复,而不必进行漫长的重启和数据库恢复。 3.2.3广播复制该配置利用单个源系统,向多个目标例程复制数据。SharePlex支持通过局域网和广域网的复制。在这这种配置时,远程用户可以通过数据复制建立的副本,实现本地查询。 3.2.4合并复制在报表应用中,SharePlex 支持合并复制模式。该配置可将若干个源数据库合并到单一 目标例程中,并基此建立企业报表和查询应用。 3.2.5层叠复制也称为多级复制或层次化复制,可实现源系统到目标系统,再到下级目标数据库的复制。利用SharePlex,中转系
19、统可不再需要Oracle 数据库。这种配置能在无法直接通讯的系统间实现数据传输,并使数据分发的压力从生产系统卸载到专门为数据分发而建立的复制副本上。 3.3 SharePlex主要技术指标Shareplex产品的主要技术指标见下表: 3.4 SharePlex解决方案的优势在数据复制项目中,SharePlex for Oracle的数据库复制解决方案具有以下几方面的技术优势。3.4.1目标数据可访问SharePlex独特的实现机制使用户可以对目标系统进行查询操作,因此,可以作为报表查询、统计分析、决策支持等系统的数据源,减轻源系统的压力,使投资变为可用,而不是单存的冷备闲置。目标数据可访问能够
20、提高容灾系统的投资回报,增加容灾系统的利用价值。同时,目标数据的在线使用实际上是对数据的一个长期在线使用,保障数据的准确性,从而避免容灾系统长期冷备,数据错误而无人发现的情况,能够确保容灾系统在灾难发生时被有效接管,进行数据恢复。3.4.2保证事务的一致性和其它解决方案不同,SharePlex是一个数据库级的软件解决方案,能够保证每个数据库事务在主备机器之间的一致性。SharePlex能够实现精确复制的一个重要原因就是其能保证从源数据库到目标数据库的Oracle读一致性,不但按顺序复制事务,而且也复制上下文信息。由于SharePlex将源数据库中发生变化的全部事务信息都复制到目标数据库中,因此
21、SharePlex复制方案用于容灾系统中是非常可靠的。3.4.3对源系统性能的影响SharePlex for Oracle通过Oracle日志获得数据的变化信息,它独特的技术优势使得它对源系统的资源占用很小。在生产系统中,实际对源系统的影响和源系统复制事物的多少,事物的处理方式有关。在复制数据量正常的OLTP系统中,正常状态下对CPU资源的占用小于5个百分点,对内存资源的占用为几十个MB。3.4.4数据延迟SharePlex for Oracle是一种异步准实时的复制技术,其数据延迟非常小。在生产系统中,数据延迟和源系统复制事物的多少,事物的处理方式有关。在复制数据量正常的OL TP 系统中,
22、数据延迟在几秒钟。3.4.5对网络资源的使用推荐方案所需网络带宽有限,能够在有限传输带宽上保证复制工作不延迟。因为SharePlex复制操作只是读取操作系统的日志文件,同时通过TCP/IP方式而不是采用中间件方式,传输只发生改变的数据也使网络负载降至最低。SharePlex只将日志的三分之一的内容通过网络进行传输。实际每小时传输的数据量=每小时日志文件切换的数量*日志文件的大小*1/3 . 3.4.6对双机集群(HA cluster软件的支持对于源系统,SharePlex解决方案提供对双机集群(HA cluster软件的支持,因为SharePlex的所有可执行文件和队列都存储在共享的文件系统中
23、。当HA主节点出现问题后,可以在备节点机器上启动SharePlex并继续进行复制工作。对于目标系统,SharePlex 提供灵活的方式进行复制。目标系统可以配置或不配置成集群方式。SharePlex也能够将所有数据源都复制到一个目标系统。这时容灾系统作为数据源,同样也支持集群方式。3.4.7强大的容错能力复制环境能够提供网络失败、数据库失败、主机失败的容错能力。当灾备中心暂停或传输异常中断导致复制停止时,主中心的业务不受影响,容灾数据可以在主中心暂时存放,当系统恢复后,暂存数据可自动完整复制到灾备中心,数据完整性一致性不被破坏。3.4.8灵活性和扩展性强SharePlex for Oracle
24、提供多种配置方案,包括单向复制、双向复制、数据集中、数据分布等等。可以很好地满足系统的扩充性需求,充分保护投资。SharePlex for Oracle的复制解决方案对应用的扩容没有任何影响。使用SharePlex,源数据库和目标数据库可以运行在不同类型的操作系统和同一Oracle数据库的不同版本上。同时,也能够支持不同类型的磁盘阵列(包括SAN。这不仅能够满足目前异构环境,还能适应未来的扩展需求。随着公司规模的不断扩大,在硬件升级时,新旧硬件产品可以随意调换,不受限制。3.4.9建立复制环境的工作量SharePlex不需要对硬件、软件、磁盘卷的划分进行任何额外的操作。减少了建立容灾环境对系统
25、结构和应用所作的修改工作。3.4.10优秀的售后服务对SharePlex for Oracle用户,Quest提供真正意义上的24X7服务。Quest 是为数不多的拥有完善的全球支持体系的公司,其客户服务中心为包括中国在内的全球用户所开放,可以及时处理在产品使用过程中遇到的问题。 4 成功案例4.1 保险行业客户SharePlex for Oracle保险行业的客户包括:新华保险平安保险太平人寿太平财险天安保险4.2 太平人寿用户概述太平人寿历史悠久,1929年始创于上海。太平人寿以中国保险(控股有限公司、中保国际控股有限公司和富通保险国际股份有限公司为股东,凭借强大的资本实力,专业的寿险经验
26、,国际化、规范化的管理运作模式和先进的技术支持,实现跨越式发展。作为业界六大寿险公司之一,太平人寿已建立起公司核心竞争优势和品牌优势,成为中国保险业一颗冉冉升起的新星。截至2007年,太平人寿总资产突破460亿元人民币,客户总量达到600万,总承保金额突破8000亿元人民币,市场份额达到3%以上。2007年,公司年度保费收入158亿元人民币,连续两年站稳在百亿元平台之上,标志着公司已稳居国内中大型寿险公司行列。业务挑战太平人寿业务迅速发展。全国集中后数据量和数据变化量都非常大。数据结构复杂。有的表有200多个字段,部分表的数据是几千万甚至上亿行。包含LOB数据类型,存储照片等数据。要求724小
27、时服务,业务员和保险代理人可能在全天不定时使用系统,系统中断可能带来业务损失。大量历史数据是保险公司积累的宝贵资产,历史数据的分析和挖掘是公司快速发展的重要支持力量。前端业务系统和后天分析系统的矛盾,放在一起会对业务系统造成较大影响,分析系统的数据业务系统也会用到。两大系统的剥离是唯一的出路。解决方案太平人寿在与其它方案进行了仔细对比以后,确定选用Quest公司的SharePlex解决方案。SharePlex具有对源系统性能影响小,独立性强,充分利用现有软、硬件资源和容易部署等特点。SharePlex解决方案如下图: 生产系统数据库查询系统数据库使用SharePlex实现生产数据库到报表数据库
28、的复制;报表数据库一直处于可用状态,可分担生产系统的查询业务,以减轻生产系统数据库的负担。实施情况和运行状态实施周期短,一周之内完成了全部实施工作。实施过程不需要中断业务运行。复制软件上线以来系统运行稳定日常情况下复制延迟最大不超过1分钟,平均在10秒之内,大大优于预期对资源的占用低,cpu平均在3%以内用户收益太平人寿报表分离项目实施以后,分析系统和业务系统都获得长足发展,通过将报表查询系统从生产系统中剥离出来,大大降低生产系统的资源占用,确保生产系统性能不受查询报表业务的影响。从技术上保障了业务系统的连续性和数据的安全性。通过部署Shareplex 解决方案,用户获得了以下收益:1.报表分
29、离将报表查询系统分离出来,减轻主系统的读取压力,确保核心业务系统能够提供724小时服务,避免系统中断可能带来业务损失。2. 部分数据复制和准实时数据只复制报表查询相关的数据到目标端;数据从生产数据库到报表数据库的延时很小。3.安全性大大提高将很多查询、报表的相关应用移到目标系统,从而提高了生产系统的安全性。对这些数据的修改不会影响到生产系统。4.3 新华保险用户概述新华人寿保险股份有限公司成立于1996年8月,是一家全国性大型保险公司。公司总部设在北京,在全国各地拥有各级分支机构及营销服务部门1100多个,内外勤员工超过15万人。截至2007年12月底,公司总资产逾1300亿元。从累计保费规模
30、和总资产衡量,新华保险为中国第四大寿险公司。目前,新华保险正在积极打造综合服务平台,将在更广阔的领域为客户提供全面、优质的风险保障和投资理财服务。业务挑战业务系统运行在北京,对数据安全性有非常高的要求,拟在深圳建立异地灾备系统 目前业务系统运行很慢,寻求平战结合的解决方案,希望将一些报表查询业务移到目标系统,实现负载分担对接管和反向回切要求很高关注投资回报解决方案新华保险力求和厂商建立合作关系而非简单的购买产品,根据在数据复制的实时性、对源系统的影响、现有资源的利用以及网络环境的要求,经过反复的技术评估,最终确定选用以Quest公司的SharePlex产品为复制软件的解决方案,解决方案如下图所
31、示: 建立从北京到深圳的异地复制,提供数据级容灾方案在查询数据库上运行报表查询,减轻了生产系统的压力支持异构环境的复制提供了不停机的平台迁移用户收益因为SharePlex技术原理的先进性,SharePlex具有多种优秀的技术特点,使其成为了新华保险业务系统中的一个不可缺少的重要环节。1.容灾功能建立了北京到深圳的数据复制,在有限带宽的下实现了数据保护,可以对应多重数据风险。2.报表查询业务的分离由于保险行业应用特有的性质,新华保险经常需要运行大量的报表统计及查询业务,需要耗费大量的主机资源,如果在生产系统上运行,将极大的影响省查系统的可用性和性能。使用SharePlex的解决方案后,新华保险不仅建立了一个独立且与生产系统数据同步的查询专用数据库服务器,同时也将所有业务数据进行了汇总,大大简化了各种报表生成工作量。3.不停机的数据库迁移SharePlex的解决方案帮助成功地实现了“不停机”的数据库平台迁移,从IBM平台迁移到HP平台。4.灵活
