《数据库新技术》大作业.docx
- 文档编号:13593343
- 上传时间:2023-06-15
- 格式:DOCX
- 页数:8
- 大小:135.11KB
《数据库新技术》大作业.docx
《《数据库新技术》大作业.docx》由会员分享,可在线阅读,更多相关《《数据库新技术》大作业.docx(8页珍藏版)》请在冰点文库上搜索。
《数据库新技术》大作业
《数据库新技术》课程
结课报告
班级:
学号:
姓名:
报告评语
教师签字:
日期:
成绩
2014年11月
数据云平台交互接口的设计与实现
DesignandImplementationoftheDataCloudPlatformInteractiveInterface
摘要
随着信息产业和通信技术的发展,随着计算机技术和通信网络的迅速发展以及相关应用技术的广泛普及,在信息化发展进程中,各行各业、各个单位均建立了大量的业务管理系统用来管理相关的数据,但是这些数据管理平台运行于不同的操作系统之上,釆用不同的数据库系统,数据格式也没有统一规划,不利于数据的交流与共享。
在住房信息系统中,存在大量分布于不同地区、采用不同数据库管理软件的数据库。
如何将各个城市的分布式异构数据库集成在一起,为用户提供透明的数据访问,实现住房信息系统的全面数据共享,已成为一个亟待解决的问题。
为实现分布式异构数据库的透明访问,将系统划分为应用层、中间层和数据层,并采用Xml、dom4j、JDBC等技术。
关键词:
异构数据库;数据集成;透明访问;
Abstract
Withthedevelopmentofcomputertechnologyandcommunicationnetworkandtherapiddiffusionofallkindsofapplication,manydifferentunitshaveestablishedalargenumberofdatamanagementsystem.However,duetovariousreasons,thesedatamanagementplatformswererunningondifferentoperatingsystems,usingdifferentdatabasesystemsandhadnounifieddataformatplan,Itisnotconducivetotheexchangeandsharingofdata.
InHousingInformationSystem,therearealsoalargenumberofheterogeneousdataanddifferentdatabasesystem,therearealotofdatabasethatdistributedindifferentlocationsandgenerated,managedandusedbydifferentunits.Howtointegratedataineachsystemandprovidetransparentdataaccessforusers,howtoachievedatasharinginHousingInformationSystemhasbecomeanurgentproblem.
Tosolvetheproblem,thesystemisdividedintothreelayers:
theapplicationlayer,middlelayeranddatalayer,anduseXml,dom4j,JDBCandsoon.
Keywords:
HeterogeneousDatabases;DataIntegration;DataTransparentAccess;
1.引言
在信息膨胀和信息多样化的共同作用下,企业数据共享也从企业内部共享走向了企业间共享,企业内部不但要访问各部门之间不同数据源中的数据,对数据进行综合分析,制定相应的计划,而且各个企业之间的系统也越来越多,而这些系统的数据是以不同的形式存储的,呈分布异构状态,这样给企业的数据处理和信息共享带来极大的困难,进一步影响到公司策略的执行,给企业带来经济上的损失;另一方面,数据之间的低祸合给用户查询带来极大的不便,越来越多的用户希望能够透明地获取和处理来自海量数据源中的有用数据,实现多个软硬件系统以及不同数据源之间的互操作。
但由于组织结构和运营方面的限制,异构且分散的数据源中的信息不适合进行全盘复制或在一个数据库中进行合并。
2.应用背景
20世纪90年代以来,人类已经进入到以“信息化”、“网络化”和“全球化”为主要特征的经济发展的新时期,信息和数据己成为支撑整个社会经济发展的继物质和能量后的重要资源,它正在改变着社会资源的配置方式,改变着人类的价值观念及工作与生活方式。
这种革命性将通过改变社会的通讯和传播结构而催生出一个新时代、新社会,信息和数据成了社会的主要财富,信息和数据流成了社会发展的主要动力。
信息和数据管理是为了有效的幵发和利用信息和数据资源,使用计算机后,随着信息和数据处理量的增长,产生了数据管理技术,数据管理技术的发展经历了人工管理阶段、文件系统阶段、数据库阶段和高级数据库技术阶段,60年代后,随着计算机在数据管理领域的普遍应用,数据库技术就开始了飞速的发展随着信息管理内容的不断扩展,丰富多样的数据模型的出现以及新技术的层出不穷,到了现代社会,数据库的应用几乎遍布了世界各地,然而,由于幵发时间或幵发部门的不同,往往有多个异构的、运行在不同的软硬件平台上的数据库系统同时运行,这些异构的数据库彼此独立、相互封闭,其数据内容、数据格式和数据质量千差万别,使得数据难以在系统之间交流、共享和融合,也造成了数据库资源不能够被充分的共享,造成了资料收集、数据采集等的人力和费用上的浪费。
随着数据库技术的发展,对各种不同类型的数据库产品的访问均需要通过专用的接口,一个专用接口只能访问一种类型的数据库这对于程序开发人员来说十分的麻烦,因此,分布式异构数据库的透明访问问题也随之被提出,如何屏蔽数据库的底层细节,使得应用程序可以通过一个统一的接口访问多种不同类型的数据库成为一个亟待解决的问题。
3.系统功能描述
3.1实现异构数据库冲突处理
各个异构的数据库系统中对数据管理的差异造成了不同的数据库在集成时会出现各种不同的冲突情况,这是数据集成需要解决的第一个难题,这些冲突问题大致可以分为以下几类:
a)各数据库的数据类型冲突。
如SQLServer数据库中的数据类型有tinyint,smallint,int等,在DB2中是Integer,Smallint和Bigint,在Oracle数据库中就只有number和lorig,而对于字符串、日期等更为复杂的数据格式差异就更大了。
b)数据的命名冲突。
每个数据库中的保留字和标示符等各不相同,很可能某个数据库的数据名称是另一个数据库的保留字,在数据集成时就会产生冲突。
c)数据本身的冲突。
在各个分布式的异构数据库中有一些共享的数据,这些数据在各专业的私有数据库中的名称各不相同,但实质上是表达同一个含义,在查询分解时就会产生语义冲突。
3.2查询请求处理
在系统设计完成后,需要满足用户各方面的査询需求,这些查询请求往往涉及多个地域的多个数据库系统。
本系统需要对用户的请求进行分析,去除不合理的请求,再根据中间层的知识库对用户查询进行适当的拆分,形成新的查询请求,再根据模式映射准确而快速的确认需要查找的数据源。
3.3查询结果处理
在每个相对应的源数据库完成数据查询后,都会返回一个局部查询结果,但这并不是用户需要的数据,还需要对这些子查询结果做进一步的处理,根据模式映射关系以及全局查询条件中各子查询之间的逻辑关系对这些子查询结果进行合并和优化,再返回给应用层。
4.系统设计方案
4.1总体架构
本系统采用中间件架构方式,以虚拟数据库系统为中间层,目的是集成底层分布在局域网上的异构数据库,为用户提供无差别的访问接口。
为达到透明访问的需求,对各个异构数据库进行模式集成,并不集成实际数据,这样做一方面节省集成时间和存储空间,一方面也便于透明访问的实施。
对分布式异构数据库的透明访问要做到最大程度的方便用户的使用,用户只需要提供查询要求,所有的查询工作由系统代为完成,包括连接数据库等工作,并在用户查询前就准备好多种方便用户查询的数据分类。
实现集成与透明访问系统的全局虚拟数据库是由用户模式、全局模式和局部模式三种模式构成的,如图4-1所示。
用户模式到全局模式是多对一的映射,全局模式到局部模式是一对多的映射,因此三种模式是“两端大,中间小”的格局,多个用户产生的多个用户模式与多个异构数据库的局部模式通过唯一的全局模式进行映射,三种模式构成的中间层,在用户和真实的数据之间进行数据的转换和通信,不仅做到了多数据库的数据交流,也使得用户可以按照需求进行数据定制,实现了真正的数据透明访问。
图4-1系统结构图
4.2交互接口设计
JDBC(JavaDataBaseConnectivity,java数据库连接)是一种用于执行SQL语句的JavaAPI,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。
作为API,JDBC为程序开发提供标准的接口,并为数据库厂商及第三方中间件厂商实现与数据库的连接提供了标准方法。
由于现有应用大多采用JDBC的方式连接数据库,因此在应用层,实现JDBC的标准接口,可以最大程度的减少应用在迁移到分布式数据库环境下所需要的更改。
4.3XML与关系数据库的映射
XML提供了一种标准格式用来交换异构系统的信息,为异构数据库的互操作提供了前提。
通常系统在数据集成时采用XML作为互操作语言,由于Java具有跨平台性的特点,所以编程方法采用Java技术,来实现异构的集成"XML本身作为异构系统的即成信息交换标准,利用DTD或SChema描述标准格式,XSL和XSLT技术增强了数据转换能力,DOM和SAX提供了开放的编程接口可以从XML文档中通过Xquery查询语言提取数据,也可以从非XML文档中通过映射获取数据"这些特性表明可以采用XML技术作为异构数据大的集成方案,基本的思路是在XML格式和底层异构数据格式之间建立内在的映射关系,将异构数据发布为XML文档,再根据系列XML技术实现XML的集成系统结构。
如图4.2所示。
图4.2异构数据库的转换
5.存在问题
在分布式数据库系统中,每次查询往往涉及多个分布的异构数据库,在对大数据量进行查询时,查询效率是必须考虑的问题。
这就需要进行查询语句的优化以及结果集成方案优化,另外,数据库的连接和访问速度,网络传输速度也是影响查询效率的重要因素。
如何能够最大程度的加快查询速度,将各方面的影响因素降至最低,是本系统必须考虑的问题。
6.结论
异构数据库集成中间件是当前使用最普遍的一种信息集成方式,本文结合XML的特点和异构数据源集成的要求,针对数据共享集成中的重点和难点问题,结合目前比较流行的XML、Java和JDBC技术提出了一种异构数据库访问集成中间件解决方案。
在本系统中,用户看到的只是一个全局数据库,该全局数据库由XML文档存储,实际的用户查询被系统分解为针对各数据源的子查询,子查询结果再由系统汇总返回给用户,同时,各子系统都保持自治性,具有其本地的不为全局所知的事物运行。
参考文献
[1]HALEVYA,RAJARAMANA,ORDILLEJ.Dataintegration:
theteenageyears;proceedingsoftheProceedingsofthe32ndinternationalconferenceonVerylargedatabases,2006[C].VLDBEndowment.
[2]CASTANOS,DEANTONELLISV.Globalviewingofheterogeneousdatasources[J].KnowledgeandDataEngineering,IEEETransactionson,2001,13
(2):
277-297.
[3]施伯乐,丁宝康,汪卫.数据库系统教程[M].高等教育出版社,1999.
[4]刘耸柏.DB2入门与提高[M].清华大学出版社,2002.
[5]MANNINOMV.Databasedesign,applicationdevelopment,andadministration[M].McGraw-HillIrwin,2007.
[6]ARCH-INTN,SOPHATSATHITP.AreferencearchitectureforintegratingheterogeneousinformationsourcesusingXMLandagentmodel;proceedingsoftheProcoftheJointConferenceonInformationSciences,2002[C].
[7]LEEK-H,KIMM-H,LEEK-C,etal.Conflictclassificationandresolutioninheterogeneousinformationintegrationbasedonxmlschema;proceedingsoftheTENCON'02Proceedings2002IEEERegion10ConferenceonComputers,Communications,ControlandPowerEngineering,2002[C].IEEE.
[8]顾天竺,沈洁,陈晓红.基于XML的异构数据集成模式的研究[J].计算机应用研究,2007,24(4):
94-96.
[9]郭超.基于元数据的分布式异构数据库集成查询工具研究与幵发[D];国防科学技术大学,2009.
[10]DAOSK,EBEIDN.Apparatusandmethodforprovidinguserswithtransparentintegratedaccesstoheterogeneousdatabasemanagementsystems[M].GooglePatents.1997.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据库新技术 数据库 新技术 作业