1、大数据共享交换平台解决方案设计演示教学大数据共享交换平台解决方案设计数据共享交换平台设计方案编 写 单 位：北京XXX信息技术有限公司项目负责人：XXX编 写 人：XXX提 交 日 期：二一四年三月变更记录* A 增加的 M 改进的 D 删减的编号日期章节号A,M, D变更描述负责人版本号12014-03-01AllA建立模板张富山0.122014-03-10AllA初稿编写张富山1.0概述一.1 平台建设背景当前政府、企业的信息化的状况是，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，系统设计建设的时期不同、业
2、务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源，消除“信息孤岛”现象，提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平台，主要目的是有效整合分散异构系统的信息资源，消除“信息孤岛”现象，提高政府和企业的信息化水平，灵活实现不同系统间的信息交换、信息共享与业务协同，加强信息资源管理，开展数据和应用整合，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用。要求新构建的数据共享交换平台要遵循标准的、
3、面向服务架构（SOA）的方式，基于先进的企业服务总线ESB技术，遵循先进技术标准和规范，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务，实现扩展性良好的“松耦合”结构的应用和数据集成；同时要求数据共享交换平台，能够通过分布式部署和集中式管理架构，可以有效解决各节点之间数据的及时、高效地上传下达，在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性，实现数据的一次采集、多系统共享；要求数据交换平台节点服务器适配器的可视化配置功能，可以有效解决数据交换平台的“最后一公里”问题，快速实现不同机构、不同应用系统、不
4、同数据库之间基于不同传输协议的数据交换与信息共享，为各种应用和决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务，提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能，支持的数据包括各主流数据库（如Oracle、SQL Server、MySQL等）、地理空间数据（如卫星影像、矢量数据）、常规文件（word、excel、pdf）等各种格式，并可以根据用户需求定制开发特定业务服务。一.2 应用场景 场景一：中国科学院电子学研究所的信息交换需求实现各个数据中心间的数据库层面的数据共享交换，各
5、中心之间是双向的、实时的数据交换，各数据节点的数据库是同构的数据库系统（即Oracle），数据的类型是基于数据库表格的规则数据，字段类型包含BLOB字段类型。目前各数据节点的数据结构（表）是相同的，主要是一表对一表的数据交换，数据抽取和过滤需求比较简单。目前数据共享交换是通过Oracle GoldenGate数据库同步工具来实现的。用户具体需求包括：1） 可视化的交换节点配置管理，包括：动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则、过滤条件等。2） OGG交换进程监控管理实时监控各节点间的ogg交换进程的统一管理，包括：按照进程的分类（如抽取、投递）来管理，并实时监
6、控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户。3） 统计分析实时统计各交换节点间的数据流量统计（按天、月、年来统计；按表）、数据同步状态统计（如更新的、插入的、删除的、成功的、失败的）。 场景二：国土资源部航遥中心的信息交换需求以高分地矿示范应用系统为例，其数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据、多媒体数据等；数据交换时需要做数据抽取、格式转换、内容过滤、同步或者异步传输等业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。 场景三：河北国土资源数据中心的信息交换需求 场景四： 场景
7、N：一.3 术语介绍（1）企业基础信息工商、国税、地税、质监等部门涉及到企业注册登记、变更、注（吊）销、年检、税务登记、组织机构代码登记等业务内容的基础信息，具有跨部门共享需求的特征。（2）企业基础信息交换平台工商、国税、地税、质监等部门之间进行企业基础信息交换的通讯、传输与管理系统。企业基础信息交换平台是指成熟的应用集成和数据交换中间件产品。（3）交换前置机企业基础信息交换平台中与工商、国税、地税、质监等交换节点进行信息交换连接的交换前置服务器。（4）信息交换桥接工商、国税、地税、质监等部门业务应用信息库与前置交换信息库之间信息安全交换的连接通道。（5）企业基础信息库存储、管理企业基础信息的
8、数据库。（6）前置交换信息库工商、国税、地税、质监等部门与企业基础信息交换平台之间共享信息双向交换的中转数据库。（7）业务数据库业务数据库是指各个委办局保存业务数据的数据库，运行在委办局的内网中。如税务部门的税务征管数据库，工商部门以“经济户口”为主要内容的工商业务数据。（8）应用系统应用系统是指本项目开发的部署在各委办局节点前置机上的桥接系统、中心数据管理系统、数据比对和整合系统等应用的总称。（9）中心数据管理系统中心数据管理系统是指本项目开发的实现交换数据查询和管理等功能的应用系统。（10）数据比对整合系统数据比对系统是用来加工整理各单位发送的企业基础信息的系统。按照一定的比对规则和条件，
9、数据比对系统对各部门的信息进行对比，形成完整、统一的XX市基础信息数据库。一.4 编制依据及参考资料全国企业基础信息共享和应用建设实施要求 （国信办200510号）电子政务信息共享互联互通平台总体框架技术指南 （国办秘函200479号）政务信息交换体系 （GB/T 21062-2007）国家电子政务总体框架 （国信办20062号）必要性、可行性及效益分析一.5 必要性分析在信息化建设过程中，各职能部门通常采用不同的技术和体系结构来构建自身的信息系统，虽然为各自业务发展起到了很好的促进作用，但各信息系统数据独立存储形成一个个信息孤岛，使得各业务系统之间很难实现数据共享，严重制约着政府各职能部门、
10、业务系统之间的协作及工作效率的提升。如何在不改变原有系统的基础上实现跨平台数据访问也成为信息化建设道路上必须思考的一个问题。一.6 可行性分析在技术上，当前市场已经涌现很多实现数据交换的平台产品，形成先进的信息交换和共享服务技术体系，能为数据交换平台的建立提供很好的技术架构。一.7 效益分析通过数据交换平台的建立可以打破当前的“信息孤岛”现象，建立不同业务系统的数据共享平台，形成政府综合信息库。同时，通过统一的数据交换平台实现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了各自数据信息的安全。从未来发展的角度看，当前建立数据交换平台可以为以后新的业务系统的建设提供标准，一旦
11、标准形成，审批、监察等业务都可以直接利用共享的基础信息库数据，从而减少了数据采集的资本投入，也提高了监管工作效率和公共服务水平，取得了良好的经济效益和社会效益。建设目标、思路及原则一.8 建设目标核心目标是全市建设数据交换平台，作为今后数据交换的支撑，将来在平台上不断的扩展应用。本期建设目标 搭建政务数据交换中心，实现政府部门业务系统之间的数据交换，为政府内部办公提供数据交换采集综合信息库； 建立全市电子政务建设地方标准和规范，为以后信息系统的建立提供规范指导。远期建设目标 通过数据交换建立企业信息库，实现政务、企业数据共享，为网上行政审批提供决策数据； 建立业务数据的集中采集平台，实现了行政
12、审批电子监察数据的在线、实时采集。一.9 建设思路要实现各部门的数据共享，必须先建立统一的数据交换平台，通过交换平台实现各异构数据库之间的数据集成，实现原有各业务系统在数据级集成，保证异构数据库之间的数据交换与共享。在建立的数据交换平台基础上，针对各业务系统的技术和体系结构，配置各业务系统的数据交换映射关系，形成各业务系统的应用。当平台建立好以后，业务应用可以任意扩展，添加新的共享数据。一.10 建设原则全市信息交换平台建设必须遵守以下原则： 不影响现有或其它相关信息系统的使用和信息安全； 技术要成熟、可靠，在节约成本投入的前提下确保平台建设质量； 建立一个坚实的系统应用平台，便于系统的管理和
13、维护，技术易于更新，网络及业务规模可以逐步扩展。统一规划，分步实施。关键问题解析一.11 数据交换平台能解决什么问题对数据交换平台的理解有一种误区，就是有了数据交换平台不同系统之间的信息交换就可以随便实现了，而不需要任何编码；实际上这是不对的。数据交换平台的应用主要是在异构系统之间的信息交换，但在信息交换过程中交换平台本身要解决的问题只是一小部分，它本质是一个中间件，面向客户时屏蔽了很多系统底层的信息，比如网络的协议、数据的传输安全等，据交换平台本身不具有业务本身的处理功能，比如无法自动从某个业务系统中直接获取数据信息，只能通过编程把数据从业务系统中提取出来，再送到数据交换平台。利用数据交换平
14、台使开发过程中不需要关注数据各式转换、消息的传输、数据路由等，只需要关注与业务本身的数据处理部分。一.12 数据交换平台与业务应用的关系在电子政务系统建设过程中，有些应用系统必须充分利用数据交换平台，比如资源目录管理系统、人口基础信息库、企业基础信息库的关系、决策支持系统等。这些业务系统从不同单位的不同系统中获取数据，数据交换平台为信息交换和传递提供一个安全可靠的通道，不同的应用系统可以公用相同的数据交换平台，因为数据交换平台好比是高速公路，可以有不同的车道和车辆，而业务系统本身有自身的业务逻辑。所以从功能和应用层次的角度交换平台业务应用。一.13 数据交换平台无法解决实时性的业务需求假设有A
15、、B两套完全独立的系统，中间通过数据交换平台连接，能实现一部信息的交换，若从A系统发起一个请求查询B系统的数据，这类应用就是实时性业务。这类业务数据交换平台是无法实现的，因为查询是针对A系统的数据库，如果要看到B系统的信息必须B系统在查询前把信息传递到A系统，否则无法直接查询B系统的信息。总体设计一.14 系统总体结构一.15 系统逻辑结构业务系统的资源交换是通过中间件进行交换和共享。其中，发送模块负责从业务系统接收信息、把信息的格式转换成中间件可识别的格式、和把转换后的信息发送给中间件;接收模块负责从中间件接收信息、把信息的格式转换成接收系统可识别的格式、和把转换后的信息发送给业务系统。一.
16、16 系统物理结构业务系统通过交换平台接入点连接业务系统，接入交换平台的业务系统，需要开发相应的适配器，如下图：数据交换平台功能设计一.17 交换中心管理系统一.17.1 数据交换标准定义根据对目标系统综合性应用内容的需求分析，定义出一系列的数据交换标准。这些标准将反映各个应用所需要的数据的结构。同时在标准中定义的还有数据“宿主”位置等信息，表示该块数据将向哪个业务系统请求获得。所有的数据交换标准定义信息，均以XML结构记录。可以通过数据交换标准定义管理工具完成如下功能： 新建标准、修改或删除标准； 维护标准中的属性，包括数据结构、数据“宿主”位置、缺省过滤条件等； 实现对用户身份识别与管理权
17、限控制；一.17.2 数据交换流程定义数据交换是依据数据交换流程实现的，针对不同的数据，需要设定和管理不同的数据流转过程。该模块的作用是提供图形化界面，供给数据交换平台的管理人员实现数据流转过程的定义。数据交换流转过程的描述也采用XML方式。具体功能如下： 新建流程、修改或删除流程 维护流程的规则、数据加工过程和数据路由方式 实现对用户身份识别与管理权限控制一.17.3 数据交换标准与内部数据结构的映射管理由于数据交换标准并不知道在具体业务系统内的相应数据的位置、属性、名称等等信息，所以需要在业务系统内对数据交换标准中的对应项有一个映射关系的定义。这种定义包括数据项与数据项的对应或组合对应（公
18、式化）、数据类型的匹配或转换关系、数据项位置描述记录等等。以XML结构保存定义的内容。具体功能包括： 数据交换标准定义信息的导入 维护数据交换标准与内部数据结构间的映射定义表，包括数据项与数据项 的对应或组合对应（公式化）、数据类型的匹配或转换关系、数据项位置描述记录等等 实现对管理员的身份识别与管理权限控制一.17.4 数据交换流执行数据交换流的执行是通过应用集成中间件实现的。采用中间件产品可以保证数据交换的高效、安全和可靠地进行。其工作原理是：读入数据交换流程，根据流程设定，启动数据交换过程。根据业务需要，同时可以并发若干个数据交换流程。当业务变化时，只需修改数据交换流程定义，就可以实现基
19、于新业务的数据交换过程，因此系统具有很好的可扩展能力。具体功能如下： 接收数据 验证数据 分析流程定义 根据流程进行数据交互过程 数据交互的事务管理 日志管理和交换数据存储 消息队列管理 实现对管理员的身份识别与管理权限控制一.18 接入管理系统一.18.1 接入点注册在接入点向信息交换平台注册时，信息交换平台会自动检测接入点提供的属性信息是否正确，只有正确后，才可以注册，接入点才可以接入信息交换平台。一.18.2 接入点配置由于有很大一部分的业务系统早已开发完成，且采用的数据库不同，有Sybase、Oracle、SQLServer、Access等等，各个业务系统根据实际需要，挑选可共享的数据
20、，定制不同的共享接入点，将共享接入点发布到数据交换平台上；也可以根据业务系统自身的不同的数据种类定制不同的共享接入点，将共享接入点发布到数据交换平台上。这样就最大限度的提供了各自业务系统数据的共享，也保证了各业务系统数据的安全。 共享接入点的管理员可以根据需要设置本接入点的类型（只能收、只能发、接收都可）、本节点只接收那种信息类型, 如果管理员本身是接入点的创建者，还可以设置本接入点的管理员帐号。 一.18.3 接入点维护（一）新增接入点根据各个业务系统的实际需要，系统管理员可以增加新的接入点，和建立新接入点的管理员帐号。为了便于管理和资源的充分利用，规定一个单位或部门只有一个共享(单位或部门
21、内部共享)接入点(因为多个业务系统可以通过一个接入点接入交换信息平台).如果要新增接入点，由使用单位或部门提出书面申请，经系统平台管理员审核同意后，统一由系统平台管理员新增接入点，同时由系统平台管理员设置新增接入点的相关信息（二）修改接入点因为各个单位、部门的业务系统的数据种类是变化的，且用户的要求也是变化的，所以共享接入点的管理员要根据需求实时来修改其共享接口，满足其他用户、单位、部门对数据的需求。共享接入点的管理员先查询到要修改的接口，然后对接口的关键字及其他属性进行修改，但接入点的唯一标识(比接入点编号)不允许修改.修改后的共享接口在数据交换平台上能立即反映出来，以便其他单位、部门使用。
22、（三）删除接入点如果共享接入点的管理员认为其定制的共享接入点已没有使用意义或已被新的的共享接入点替代，由接入点的管理员提出书面申请，经数据交换平台系统管理员(接入点的创建者)审核通过后，统一由交换平台系统管理员进行删除。共享接入点的管理员只能申请删除自己管理的共享接入点，在共享接入点删除后，数据交换平台记录删除日志,并删除与它有关的在数据交换服务器(JMS)的队列. 删除接入点的信息要在数据交换平台监控上立即反映出来，以便其他单位、部门不再向它发送信息。（四）查询接入点根据需要, 可以按类型、状态查询各个接入点的情况，可以统计各个接入点的类型、状态(是否有效、是否已删除)。一.19 交换前置子
23、系统一.19.1 交换前置子系统的作用政府职能部门配置交换前置机，成为与信息交换总线相连接的桥梁，同时也是与部门内部业务系统及业务信息库相隔离的“堡垒”。在部门前置机上安装前置交换数据库、应用适配器和信息交换软件，用于实现信息的发送和接收。一.19.2 交换前置子系统的部署部门交换前置机系统逻辑结构如下图所示。（1）操作系统部门交换前置机的操作系统一般采用Windows 2003 Server或Linux。（2）前置交换数据库部门交换前置机安装SQL Server/MySQL数据库作为部门前置交换信息库。（3）应用适配器系统部门交换前置机安装应用适配器系统。应用适配器系统负责自动从部门前置交换
24、信息库提取数据发送到信息交换总线，同时，从信息交换总线上获取信息并存储到部门交换信息库。部门交换前置机上的应用适配器系统还实现部门业务信息库与部门交换信息库之间的信息交换桥接功能。（4）信息交换软件部门交换前置机安装消息中间件产品作为信息交换软件系统，与中心交换服务器的信息交换软件共同构成信息交换总线。一.20 交换桥接子系统一.20.1 交换桥接系统的作用交换平台的交换桥接子系统指由部门业务应用数据库（或文件等数据）到前置交换数据库（或文件等数据）之间的信息交换桥接接口，以完成两个数据库（或文件等数据）之间的在线实时交换的系统。之所以采用桥接系统是为了保护业务系统的安全性和独立性，信息交换平
25、台通过交换前置机与业务系统相连，在前置机上建立交换库，用于存储各节点向外发布的信息和从其他节点交换过来的信息。桥接系统的实现可以利用集成中间件提供的编程接口，但业务系统接口的编程是必不可少的，必须像适配器提供一个透明的数据提供源。考虑到业务系统的复杂情形，有时并不一定是提供数据接口，也可以是文件的各式，提供给前置交换系统，再通过交换平台的进行传递。桥接系统还包括把数据交换到目的系统的情形。比如把A系统的数据通过交换平台传递到B系统，那么B系统在接收这些数据时也需要利用桥接系统编写相应的适配器。一.20.2 交换桥接系统的分工界面交换系统从源到目的都涉及不同单位、不同网络、不同架构的异构业务系统
26、，除了在组织协调大量的工作外，在分工界面上也应清晰。因为数据交换平台不是万能的，在数据交换过程中涉及不少的编程工作，必须有业务单位和业务系统开发商的配合。以下图为例：交换平台从某部门的业务系统获取数据后，传送到中心数据库，再通过中心数据库分发到三个不同的业务系统，这里至少涉及4个不同的系统：首先数据源提供系统必须把数据送入到前置机的数据，或者放在本地由数据交换平台去抓取。数据交换平台无法从业务系统中去获取数据，因为它不知道业务系统的数据结构和逻辑，比如数据交换平台并不知道OA系统中一份公文的数据保存在哪些表，流程现在是什么状态，从安全的角度也不应该由数据交换平台直接抓取。正确的做法是业务系统根
27、据要求把数据提取出来放到某个位置（数据库或者文件系统），交换系统适配器去获得这些数据。其次，接收的目的系统，在获取到数据后也要对数据进行解析放入到自己的系统中，否则数据交换平台不知道该把数据放在什么位置，即使知道也不安全。所以，从分工界面来说，数据交换与业务系统有着密切的关心，必须有业务系统的支持才能实现信息的交换。一.21 运行监控平台一.21.1 传输监控传输监控的主要任务是对交换平台本身和流过交换平台的数据包进行观察与控制。传输监控包括如下几个方面：（1）对数据流量和状态的查询、统计与审计；（2）对信息交换平台自身运行状态的查询和监控；（3）对信息交换平台的远程监控。数据流量和状态的监控
28、，首先是对于所有通过信息交换平台进行交换的数据总量的把握，其次是对每个通过信息交换平台的数据包状态的微观把握。通过监控功能，可以了解在指定时间内按照进入/转出、目的地/来源地、数据量大小等项目进行查询和统计，从而实现对总量的把握；通过对数据状态（例如等待处理、正在进行、处理完毕、回执收到、处理中断等）的监控，可以追踪某一个指定数据的状态。对信息交换平台自身运行状态的查询和监控，是为了确认信息交换平台自身的运行是否正常。查询和监控的对象主要是构成共享平台的各类软件运行实体（例如进程、队列等）。以进程为例，监控的主要操作包括查询进程状态、停止进程、重新启动进程等。对信息交换平台的远程监控，是指通过
29、监控命令的交换，对系统中的远端信息交换平台部件进行上述监控。由于信息交换平台的运行记录不仅是进行监控的重要依据，还是进行审计的重要基础，因此根据监控的功能设计，必须实现相应的日志机制。一.21.2 前置节点运行监控中心数据交换平台通过网络连接了许多不同的节点，通过监控系统能对分布在不同物理位置的前置交换系统状态进行必要的监控，及时发现异常的监控节点。一.21.3 数据库运行监控数据交换平台涉及中心数据库，前置节点数据库等多套数据库系统，通过监控系统能实时了解各节点数据运行的状态，能通过图示的方式进行提醒。一.21.4 适配器监控监控平台对桥接服务实行数据传输量监控，速率监控，历史数据统计等监控
30、管理，对有关交换的各种组件运行状态及日志情况，可以非常方便的进行监控及查询。一.22 系统管理一.22.1 接入编码管理接入点编号是由交换信息平台统一分配给各个使用单位或部门。各个使用单位或部门要接入信息交换平台，必须先申请接入点编号。获得接入点编号后，必须要先进行接入点注册，然后才可以通过接入点接入到交换信息平台。接入点编号规则参考如下：A.编号长度为九位(数据的长度预留20位：如果以后要加市的，在原来基础上前面加多俩位，依此类推：加省、)；B位数的意义：第一、二位代表区;第三、四位代表单位类型;最后五位流水号。比如：00 00 00000 区 单位类型 流水号一.22.2 数据备份及恢复数
31、据交换平台涉及大量数据的存储，需要有良好的数据存储机制确保数据的安全，避免数据丢失。一.22.3 用户管理数据交换平台作为一套专门的信息交换系统，具有完善的用户管理体系，能创建不同权限、不同角色的用户帐号，对系统内的信息进行查看和访问。一.22.4 日志管理管理员能查看系统不同类型的日志，对系统的运行状态进行监控，及时发现运行过程中出现的问题。并提供日志审核的功能。交换平台安全设计一.23 威胁与风险分析交换系统的业务特点和信息的敏感性决定了系统可能承受来自各个方面的攻击，如犯罪团伙的破坏，黑客的恶意攻击。信息交换平台系统的安全性应从政府专网的网络安全中总体考虑，包括入侵检测、防病毒系统、防火墙
