可行性报告基于ESB的轻量级通用数据交换平台的可行性分析.docx
- 文档编号:17069681
- 上传时间:2023-07-21
- 格式:DOCX
- 页数:39
- 大小:62.70KB
可行性报告基于ESB的轻量级通用数据交换平台的可行性分析.docx
《可行性报告基于ESB的轻量级通用数据交换平台的可行性分析.docx》由会员分享,可在线阅读,更多相关《可行性报告基于ESB的轻量级通用数据交换平台的可行性分析.docx(39页珍藏版)》请在冰点文库上搜索。
可行性报告基于ESB的轻量级通用数据交换平台的可行性分析
(可行性报告)基于ESB的轻量级通用数据交换平台的可行性分析
第1章项目申请的必要性4
1.1数据交换平台的研究意义4
1.2数据交换技术的发展情况4
1.3本项目研究的目的和内容5
1.4本项目的先进性及创新性6
第2章申报单位情况8
2.1申报单位基本情况8
2.2研究开发能力9
2.2.1项目组成员9
2.2.2项目主要承担人员简介11
2.2.3项目研发的现有基础15
2.3财务、经济状况19
2.4申报单位的科研及生产经营管理状况20
2.4.1科研情况20
2.4.2生产经营情况20
第3章项目实施方案22
3.1项目研究目标、范围及必要性22
3.1.1项目目标22
3.1.2项目范围22
3.1.3项目的必要性22
3.2项目研究现状23
3.2.1数据交换技术的发展阶段23
3.2.2国外商用数据交换平台发展情况23
3.2.3开源数据交换平台研究情况24
3.2.4国内数据交换平台研究和应用情况24
3.3项目研究的主要内容25
3.4项目的技术方案26
3.4.1数据交换平台总体设计26
3.4.2规范化的交换目录与数据元管理31
3.4.3基于SOA的企业服务总线32
3.4.4丰富的可拓展的数据适配器技术34
3.4.5组织机构及权限配置接口35
3.4.6可视化数据交换配置工具35
3.4.7一体化的监控管理接口36
3.4.8可配置的应用服务接口36
3.4.9轻量级、高性能的数据交换引擎37
3.5拟解决的关键问题46
3.6主要创新点46
3.7主要技术参数指标47
3.7.1性能要求47
3.7.2可靠性要求47
3.7.3可扩展性要求48
3.7.4安全性要求48
3.7.5易用性要求48
3.7.6数据处理精度要求49
3.8项目的阶段与进度49
3.9资金筹措及使用51
3.9.1投资估算及资金筹措51
3.9.2资金使用计划51
第4章经济及社会效益分析54
4.1市场分析54
4.2应用前景分析55
4.3经济效益分析56
4.4社会效益分析58
第5章风险分析60
5.1技术风险60
5.2管理风险60
5.3市场风险61
第1章项目申请的必要性
包括:
项目的重要意义、技术的先进性及创新性(与国内外同类研究的比较)等。
1.1数据交换平台的研究意义
数据交换平台是实现异构系统之间、新老系统之间信息透明交换的一种解决方式。
通过采用统一的数据交换标准,各应用系统与数据交换平台相连,通过数据交换平台来实现数据共享和路由,由于隔离了数据存储层和应用层,使得应用与其底层的数据结构和存储方式无关,从而不需要对原有业务系统进行改造,也不需要对已有的业务流程重新开发。
这种连接方式实现了数据的无缝交换和共享访问,保证了各业务系统的有效协同,同时又能保证各应用系统的相互独立性和低耦合性,从整体上提高了系统运作效率和安全性。
数据交换平台之所以能够交换基于不同操作平台和数据库的数据,主要得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。
信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。
完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由管理等技术手段实现。
交换平台软件系统一般采用基于相同数据库管理系统的分布式系统的数据交换、消息中间件服务器等技术方式。
1.2数据交换技术的发展情况
1.商用数据交换平台发展情况
国内外著名的系统软件厂商,如IBM、SUN、ORACLE等都可提供不同形式的数据交换解决方案。
但这些厂商提供的数据交换基本上都依赖于并嵌入于它们自身现有的基础系统软件中(如数据库管理系统、SOA系统等),使得它们的数据交换平台的应用成本极高、技术难度大,需要大量的经费和技术投入才能开展。
因此其广泛应用受到的限制。
2.开源数据交换平台研究情况
数据交换平台的研究受到的业界的广泛关注和重视,经过近几年的发展,出现了许多开源的数据交换技术,如BIE(商业集成引擎)——一个完全基于Java跨平台的企业应用集成(EAI)服务器;XmlBlaster——基于Java的MOM(MessageorientedMiddleware);Mule——一个企业服务总线(ESB)消息框架;WSO2ESB——一套轻量级以XML和Webservice为核心的ESB(EnterpriseServiceBus)等等。
这些系统以EAI或ESB为理念,提供应用系统整合和数据交换功能。
但是这些系统基本上不能为一般用户提供易操作性和稳定性的使用特性,需经过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。
3.国内数据交换平台研究和应用情况
国内数据交换平台近几年在研究和应用方面有了良好的发展。
在研究方面,主要基于通用数据库技术和开源ESB技术,近年来基于SOA和ESB理念和技术的研究越来越多和深入。
在应用方面,主要是针对行业的系统,如电子政务数据交换、企业应用集成(EAI)、教育数据交换等,这些系统的行业性强,通用性较低。
在产品方面,目前比较有影响的系统有金蝶的ESB(也是基于开源的ESB),但应用需要专业人员和大量二次开发;其它产品也有不少,但未能成为主流和形成规范。
1.3本项目研究的目的和内容
本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。
平台可各种数据系统集成在一起完成特定的业务,提供多源的、同构或异构数据之间的交换目录和数据元定义、交换服务管理、数据适配器配置、数据交换调度管理、交换过程处理、数据交换管理以及可视化管理监控等方面功能。
项目的主要研究内容如下:
1.数据交换目录与数据元管理。
平台可依据数据元的国际、国家标准以及应用行业(如政务、教育、企业等)自身的信息标准,规范化地定义和描述数据元、数据字典、数据交互目录。
2.数据交换服务管理。
基于SOA理念定义和描述所需的数据交换服务清单,包括服务清单管理、服务对象(提供者、请求者)管理、服务注册管理、服务测试管理、服务发布管理、数据源管理等。
3.数据适配器技术。
数据适配器连接并访问数据交换中涉及到的可能的数据对象(数据源/目)。
平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。
主要数据适配器将各种数据库、电子表格(EXEL)、数据文件、应用服务(WEBSERVICE)、数据目录(LDAP)等。
适配器根据需要可扩充。
4.数据交换管理技术。
定义和配置数据交换的一个或数个示例。
主要包括交换发布与订阅配置管理、交换机构管理、触发器管理、数据发布管理、数据订阅管理等。
5.数据交换调度技术。
通过任务排程管理对数据交换操作提供调度管理。
主要包括排成清单管理(新增、删除、编辑等)、排程属性管理(发起方式、时间、频度、批量规模等)、排程监控(日志、分析等)。
6.管道式交换过程处理技术。
提供交换过程中的管道式数据处理插件,主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。
7.实用的数据交换平台管理。
实现对数据交换的状况和性能进行管理,主要包括用户管理、角色管理、授权管理、配置管理、备份恢复、服务统计、服务分析、日志监控等。
8.轻量级体系架构。
平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具,实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。
9.其他特殊交换技术。
平台在常规数据交换的基础上,还可支持超大数据(如超大文件、超大数据库等)、流数据(如实时视频流)的数据交换,满足特殊的数据交换需求。
1.4本项目的先进性及创新性
本项目将力求在以下几个方面显现出先进行和创新性:
1.规范化的交换目录与数据元管理。
系统可依据国际/国家标准以及应用行业自身的信息标准,规范化地定义和描述与数据交换相关的数据元、数据字典、数据交互目录。
2.基于SOA的数据交换服务管理。
系统基于SOA理念定义和描述所需的数据交换服务清单。
3.丰富的可拓展的数据适配器。
系统支持主流数据适配器(数据库、电子表格(EXEL)、应用服务(WEBSERVICE)、数据目录(LDAP)等,并可根据需要扩充。
4.管道式交换过程处理插件技术。
提供交换过程中的管道式数据处理插件,主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。
5.基于开源技术的轻量级体系架构。
平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具,实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。
6.其他特殊交换技术。
平台在常规数据交换的基础上,还可支持超大数据(如超大文件、超大数据库等)、流数据(如实时视频流)的数据交换。
第2章申报单位情况
2.1申报单位基本情况
第3章项目实施方案
3.1项目研究目标、范围及必要性
3.1.1项目目标
本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。
平台可各种数据系统集成在一起完成特定的业务,提供多源的、同构或异构数据之间的交换目录和数据元定义、交换服务管理、数据适配器配置、数据交换调度管理、交换过程处理、数据交换管理以及可视化管理监控等方面功能。
3.1.2项目范围
本项目的研究范围主要包括:
在高等教育行业中,建立多源的、同构或异构数据之间的交换目录和数据元定义、交换服务管理、数据适配器配置、数据交换调度管理、交换过程处理、数据交换管理以及可视化管理监控等方面功能。
3.1.3项目的必要性
数据交换平台是实现异构系统之间、新老系统之间信息透明交换的一种解决方式。
通过采用统一的数据交换标准,各应用系统与数据交换平台相连,通过数据交换平台来实现数据共享和路由,由于隔离了数据存储层和应用层,使得应用与其底层的数据结构和存储方式无关,从而不需要对原有业务系统进行改造,也不需要对已有的业务流程重新开发。
这种连接方式实现了数据的无缝交换和共享访问,保证了各业务系统的有效协同,同时又能保证各应用系统的相互独立性和低耦合性,从整体上提高了系统运作效率和安全性。
数据交换平台之所以能够交换基于不同操作平台和数据库的数据,主要得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。
信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。
完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由管理等技术手段实现。
交换平台软件系统一般采用基于相同数据库管理系统的分布式系统的数据交换、消息中间件服务器等技术方式。
3.2项目研究现状
3.2.1数据交换技术的发展阶段
针对目前企业所关心的数据集成、交换的问题,业界主要有两种解决方法,一种是传数据交换技术,它大致包括三个发展阶段:
第1阶段,以EDI(ElectrocDataInterchange)为基础的电子数据交换;第2阶段,以多层结构Web技术为基础的信息发布;第3阶以XML等第二代Web技术为代表的数据交换。
另一种就是建立数据仓库,通过数抽取、转换、清理和装载(ETL),将数据从一个系统传输到另一个系统,同时对其进理和修改,从而符合数据仓库的需求,达到数据集成和数据交换的目的。
本项目的“数据交换”特指第二种方法,即建立数据仓库时的ETL(Extract一Transform一Load)过程。
3.2.2国外商用数据交换平台发展情况
国外著名的系统软件厂商,如IBM、SUN、ORACLE等都可提供不同形式的数据交换解决方案。
但这些厂商提供的数据交换基本上都依赖于并嵌入于它们自身现有的基础系统软件中(如数据库管理系统、SOA系统等),使得它们的数据交换平台的应用成本极高、技术难度大,需要大量的经费和技术投入才能开展。
因此其广泛应用受到的限制。
这些厂商提供的产品,还包括整体数据仓库方案供应商的产品,它们能从功能上满足企业数据交换的需求,如IBM的WarehouseManager。
在本项目的进展过程中主要尝试过Fioran。
公司的ESB(EnteriseServiceBus)产品和RedHat的MetaMatrix,相比于专门的ETL工具,这些产品稍显边缘化,但其强大的功能在企业信息集成管理方面较为出色。
此外,还有许多专业化的中小软件厂商,提供数据交换产品:
首先是专门的ETL工具。
国外的ETL技术比较领先,已形成规模化、专业化的软件市较为成熟的产品包括三大主流ETL:
Ascential公司的Datastage、Informatica公司的Datastage、Informatica公司的Powercente:
以及NCRTeradata公司的ETLAutomation。
这类专业厂商的产品一般都有较完善的体系结构和久经考验的品质,产品的功能之复杂和详尽往往能令初次接触的人膛目,但其高昂的价格也会使一般用户望而却步。
3.2.3开源数据交换平台研究情况
数据交换平台的研究受到的业界的广泛关注和重视,经过近几年的发展,出现了许多开源的数据交换技术,如BIE(商业集成引擎)¬——一个完全基于Java跨平台的企业应用集成(EAI)服务器;XmlBlaster——基于Java的MOM(MessageorientedMiddleware);Mule——一个企业服务总线(ESB)消息框架;WSO2ESB——一套轻量级以XML和Webservice为核心的ESB(EnterpriseServiceBus)等等。
这些系统以EAI或ESB为理念,提供应用系统整合和数据交换功能。
但是这些系统基本上不能为一般用户提供易操作性和稳定性的使用特性,需经过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。
除了以前的ESB开源产品之外,也有许多厂商研发的轻量级的开源产品,如Kettle、JasperETL、Jitterbit等,这些产品一般都用Java编写,易维护易扩展,体积较小,数据抽取高效稳定。
其中Kettle以其强健全面的功能和灵活直观的界面在众多产品中占据翘楚。
3.2.4国内数据交换平台研究和应用情况
国内数据交换平台近几年在研究和应用方面有了良好的发展。
在研究方面,主要基于通用数据库技术和开源ESB技术,近年来基于SOA和ESB理念和技术的研究越来越多和深入。
在应用方面,主要是针对行业的系统,如电子政务数据交换、企业应用集成(EAI)、教育数据交换等,这些系统的行业性强,通用性较低。
在产品方面,目前国内尚欠缺比较成型的ETL产品,针对这方面工具软件的研发也相对落后,不过还是有一些功能上近似的替代品被广泛应用,在项目中也为其做了尝试,如金蝶的ESB(也是基于开源的ESB)、东方通公司的中间件系列产品(Tonglniegrator、TongL、KQ等),与提供的服务相配合可以实现数据的企业级集成交换;还有新晨的整合化传输工具XXCJ,只能满足部分要求,对于数据交换安全、大数据量、实时数据等不能实现交换。
但使用中需要专业人员和大量二次开发,未能成为主流和形成规范。
因为中文的原因,国内产品在使用上,操作复杂性、界面友好性等方面还存在一些差距。
3.3项目研究的主要内容
项目的主要研究内容如下:
1.数据交换目录与数据元管理。
平台可依据数据元的国际、国家标准以及应用行业(如政务、教育、企业等)自身的信息标准,规范化地定义和描述数据元、数据字典、数据交互目录。
2.数据交换服务管理。
基于SOA理念定义和描述所需的数据交换服务清单,包括服务清单管理、服务对象(提供者、请求者)管理、服务注册管理、服务测试管理、服务发布管理、数据源管理等。
3.数据适配器技术。
数据适配器连接并访问数据交换中涉及到的可能的数据对象(数据源/目)。
平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。
主要数据适配器将各种数据库、电子表格(EXEL)、数据文件、应用服务(WEBSERVICE)、数据目录(LDAP)等。
适配器根据需要可扩充。
4.数据交换管理技术。
定义和配置数据交换的一个或数个示例。
主要包括交换发布与订阅配置管理、交换机构管理、触发器管理、数据发布管理、数据订阅管理等。
5.数据交换调度技术。
通过任务排程管理对数据交换操作提供调度管理。
主要包括排成清单管理(新增、删除、编辑等)、排程属性管理(发起方式、时间、频度、批量规模等)、排程监控(日志、分析等)。
6.管道式交换过程处理技术。
提供交换过程中的管道式数据处理插件,主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。
7.实用的数据交换平台管理。
实现对数据交换的状况和性能进行管理,主要包括用户管理、角色管理、授权管理、配置管理、备份恢复、服务统计、服务分析、日志监控等。
8.轻量级体系架构。
平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具,实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。
9.其他特殊交换技术。
平台在常规数据交换的基础上,还可支持超大数据(如超大文件、超大数据库等)、流数据(如实时视频流)的数据交换,满足特殊的数据交换需求。
3.4项目的技术方案
3.4.1数据交换平台总体设计
3.4.1.1数据交换平台的功能结构
根据上述描述的数据交换作用与功能,我们将数据交换平台的功能结构设计成下图所示。
在数据交换平台的上述架构中,“数据交换管理”子系统作为平台的管理核心,调动各子系统协同工作,共同完成是特定的数据交换服务。
数据交换平台各功能模块的协同工作过程如下:
(1)数据交换子系统首先定义数据交换服务,按照SOA模式描述如交换机构、交换数据源、交换触发器等信息;
(2)数据交换适配器管理子系统根据交换数据源实际情况,配置好源数据对象和目标数据对象的数据适配器,必要时可扩展所需的数据适配器;
(3)数据交换标准管理子系统根据描述的数据交换服务,定义交换源、目各方都一致性理解的数据元、数据字典,形成交换所需的数据目录;
(4)数据交换系统管理子系统对执行交换的用户权限进行配置管理,描述用户和用户组帐户属性,定于角色及操作权利,对用户进行授权。
(5)数据交换管道处理子系统根据交换源数据对象和目标数据对象的数据项的情况以及交换过程用户对数据的各种处理要求,以管道插件方式配置对数据进行处理,如数据项合并、数据项拆分、数据变换、内容过滤、安全加密等;
(6)数据交换任务调度子系统根据用户的交换执行模式要求,配置数据交换服务的排程参数,如发起方式、时间、频度、批量规模等;
(7)数据交换子系统根据预先描述和配置好的数据交换任务,自动执行数据交换操作。
3.4.1.2数据交换平台的系统架构
在数据交换平台的整体架构设计中,将整个平台划分为轻量ESB体系结构、数据交换引擎、组织结构及权限配置接口、可视化数据交换流程定义工具、数据适配器接口、监控管理接口、应用服务接口。
数据交换平台的系统架构如下图所示:
轻量级ESB体系结构采用目前流行的、轻量的、开源的ESB,实现服务的注册、配置、管理。
服务运行时环境提供服务(和服务组件)的部署、运行和管理能力,支持服务编程模型,保证系统的安全和性能等质量要素;服务总线提供服务中介的能力,使得服务使用者能够以技术透明和位置透明的方式来访问服务;服务注册库支持存储和访问服务的描述信息,是实现服务中介、管理服务的重要基础;而服务组装引擎,则将服务组装为服务流程,完成一个业务过程;服务网关用于在不同服务计算环境的边界进行服务翻译,比如安全。
数据交换引擎是整个数据交换平台中核心,它的性能直接影响到数据交换平台的性能。
因此,采用目前最轻量的、性能最高的开源的数据交换工具Kettle,在Kettle基础中,封装成各种不同的数据交换服务组件,注册到ESB服务池中,将通过数据交换引擎,解释数据交换配置工具定义的交换流程,并实例化数据交换流程,运行数据交换流程。
对于多种数据交换平台相互协调交换时,可以配置相应的交换路由,在交换路由中配置远程数据交换平台的地址、流程名称、节点名称等,实现不同数据交换平台之间的相应协调工作。
对于定义调度的数据交换流程,由数据交换引擎提供的定义调度功能,实现数据交换流程的被起动;在被动启动数据交换流程时,由流程调用本身的服务组件,起动交换过程;在交换过程中,调用数据交换平台提供的服务组件时,可以直接调用本身的组件,提高引擎响应速度;对于外部接入的应用服务组件,通过ESB发布的数据服务接口,调用应用服务组件提供的服务,实现数据交换的被动触发;对于由应用服务组件触发的数据交换流程,应用服务组件通过调用ESB提供的服务接口,以及数据交换引擎发布的服务接口,由ESB调用相应的数据交换流程,实现数据主动的实现。
组织结构及权限配置接口是实现与其它应用系统的权限统一管理。
在数据交换引擎中,可以对不同的数据交换流程,授予不同用户的权限,只有被授权的用户,才可以起动流程的运行;或者是数据发布接口,只有被授权的用户才可以访问被授权的服务接口。
可视化数据交换流程配置工具是配置数据交换流程的工具,通过易用的、可视化的工具,为用户提供十分便捷的配置手段,简化数据交换流程的管理。
数据适配器接口可以直接配置各种不同类型的数据源或目标数据源。
当数据交换过程中,需要访问外部数据时,可以通过数据适配器接口,直接加载或输出数据。
对于提供数据访问服务接口的应用系统,可以通过配置应用服务接口,从接口从读取所需要的数据或输出数据到应用服务接口中。
数据交换目录接口是提供数据交换过程中涉及的数据交换元数据。
这些元数据结构可以通过外部系统提供满足条件的目录结构,也可以直接通过数据交换平台提供的目录管理功能,配置数据交换目录数据。
在数据交换目录结构中,对于每一个数据源与目标之间的相应关系,都可以通过数据交换目录结构进行定义。
应用服务接口是提供各种应用系统接入数据交换平台的接入方式,它通过注册应用服务的方式将各种应用系统集成到数据交换平台中,并通过数据交换配置工具,将应用服务接口做为一个节点引入到数据交换流程中,实现各种应用系统之间的数据交换。
3.4.1.3数据交换平台的应用部署模式
数据交换平台的一般部署模式如下图所示。
从图中可以看出,采用数据交换平台,遵循一致的数据交换标准,通过网络可实现不同应用之间、不同机构之间以及分支与中心之间的数据交换。
根据应用的范围的不同,数据交换平台可有以下几种基本的部署模式:
(1)内部业务系统数据交换部署
这种模式主要适应于同一个机构(政府部门、学校、企业等)内部的不同应用系统之间的数据交换,解决信息孤岛问题,实现数据的治理。
由于各种原因,一个机构内部可能先后采购了多种应用系统,这些系统可能来源不同、开发平台不同、数据库系统不同、工作模式不同,使得系统之间数据交换非常困难,造成数据重复建设、数据冗余、数据不一致等问题。
采用数据交换平台,可实现机构内各应用系统的数据整合,解决信息孤岛问题。
(2)对等系统数据交换部署
这种模式主要适应于具有业务联系的两个或多个对等机构之间的应用系统之间的数据交换,实现关键业务数据的关联,提高关联业务处理的效率。
各机构的系统一般都作用不同、功能不同、开发平台不同、数据库系统不同,系统之间数据交换一般都需要接口系统来解决。
这类数据交换的例子有电子商务(E-Commerce)、电子数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 可行性报告 基于 ESB 轻量级 通用 数据 交换 平台 可行性 分析
![提示](https://static.bingdoc.com/images/bang_tan.gif)