1、,达梦数据库公司与数据库产品介绍,2013年4月,大 纲,6,致谢,与国内外产品的对比,典型案例,公司简介,达梦是国内最早从事数据库管理系统研发、生产、销售和服务的专业公司。公司连续五个“五年”计划得到了国家发改委、科技部、工信部、总装备部等中央部委的支持与扶植，是中国电子信息产业集团（CEC）的下属企业。公司是国家规划布局内重点软件企业和双软企业，中国数据库标准委员会组长单位，核高基重大专项课题牵头承担单位。公司主导产品：原始创新、独立研发、具有完全自主知识产权的达梦数据库管理系统、达梦数据中心与商务智能套件及整体解决方案。,公司下辖北京、上海、广州、石家庄、南宁、海口六个全资子公司及沈阳、
2、西安、济南、南京、珠海、成都、合肥七个办事处，形成了辐射全国的研发、销售及技术支持服务体系。,机构设置,达梦公司总员工数为400余人，拥有220余人的研发团队、70余人的技术服务团队、30余人的行业解决方案团队、80余人的销售团队。公司有30余名具有高级职称或博士学位的高级人才，150多名硕士，绝大多数员工具有本科以上学历。,人员构成,发展历程,1990年-2000年,课题组,研究所,1980年-1990年,2010年,2009年,2002年,2001年,2000年,上海达梦,武汉达梦,北京达梦,海南达梦,广州达梦,企业资质,公司取得各项资质 24 项，各种奖项 16项,涉密集成软件开发资质,
3、国家规划布局内重点软件企业,国家发改委高技术产业化示范工程,中国数据库软件采购推荐产品,ISO9001:2000证书,CMMI3级证书,武器装备质量体系认证证书,高新企业证书,产品资质,军B+证书,安全四级检验报告,产品取得资质 8 项，奖项24项，著作权 35 项,数据库著作权,ETL著作权,EAL 3 报告,自主原创报告,大 纲,6,致谢,与国内外产品的对比,典型案例,产品发展历史与里程碑,DM1-DM3,1984-2003,DM4,2004,DM5.6,2007,2009,DM7,2011,2,3,5,4,DM6,实验室原型技术积累阶段实现各类标准1988年研制我国第一个自主版权数据库C
4、RDS,持续的技术积累5.6引入物理操作符,虚拟机6.0引入企业级高级特性和oracle 兼容特性,对DM4-DM6的技术总结融合列存储与行存储MPP 高性能集群RAC 高可用集群原生的MVCCOLAP 应用的支持安全升级,DM1-DM3,1,Oracle 9,Oracle 10,Oracle 12,Oracle 7,达梦7 研发成果,磁盘查询优化DM采用多趟扫描、代价估算的优化策略重复使用的语法分析计划与结果集进行了可重用处理多版本DM7采用“历史回溯”策略利用回滚段信息组装出自身可见的版本数据事务锁内存缓存DM7提供查询结果集缓存策略DM7采用了多缓冲区机制，支持动态缓冲区管理,内核技术,
5、cpu虚拟机提高空间利用率，充分利用CPU的2级缓存采用面向栈的表达式计算模式，减少虚拟机代码体积、数据的移动并行处理多个处理器并行查询，多个线程来处理查询作业自动判断并行数量批量处理数据执行批量计算，可以提升CACHE命中率，提升内存处理效率数据成批地抽取与传递，可以减少操作符间流转数据的函数调用次数系统标量函数支持批量计算，有效减少函数切换,达梦7 移植,SQL支持 oracle、sql server、db2 等数据类型符合 SQL 92、SQL 2000 SQL 2003 标准提供与 Oracle 完全兼容的 PL/SQL 语法提供包支持，部分oracle dbms包接口符合 JDBC、
6、ODBC、。NET 规范Oracle 兼容接口 OCI、OO4O、OCICPP、LibSQLora8工具可视化管理工具、迁移工具、监控工具ETL 工具,多个项目从 oracle 迁移，无需改变应用程序，平均迁移时间 2 周：国网 D5000铁道部电子支付系统司法门户网站刑法执行,双机热备,特点：主服务器对外提供服务，主备数据库之间实时数据同步主备数据库之间通过日志进行数据同步实时自动故障切换二台服务器互为主备备机支持可读备机故障后恢复不影响主机对外提供服务能力,高可用性,需求,容灾,持续服务,负载均衡,介质故障,双机热备,备份恢复,DM RAC,系统故障,DMHS,技术,效果,异构同步,实现数
7、据冗余，灾难发生，损坏数据后，可使用备机数据，提供服务,灾难发生，损坏数据后，可使用备份数据进行恢复，提供服务,数据热备份，在主机故障时，可以自动切换到备机,使用共享存储集群，多台服务期同时提供服务，只要有一台服务器可用就可以持续提供服务,读取操作并发大的场景，通过读写分离，将写操作在主机执行，通过多台备机提供数据读取服务,多节点负载均衡,通过并行执行技术提高事务响应时间通过,横向扩展提高每秒交易数和连接数,通过多机冗余，在主机发生介质故障时，切换到备机,介质发生故障时可以通过备份的数据，进行数据恢复,跨越多种软硬件平台，支持强大而灵活的复制拓扑结构，能以极少的系统开支实现秒级数据实时同步复制
8、,DMHS 异构同步数据复制产品,DMHS 异构同步数据复制产品是达梦公司推出的支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。,适用场景：应急灾备系统多业务中心异构资源信息整合改进数据仓库架构,达梦7 高可用共享集群,海量数据处理,海量数据分析缓慢,列存表,按列存储，分析查询只取相关列,存在问题,解决方案,效果,PB级数据处理,历史数据加载缓慢,MPP,随机多维分析缓慢,智能索引,并行加载,集群加载 1TB/小时,压缩比 1:10,为查询优化器提供优化路径包含统计项,加速统计速度,海量数据处理 架构支持,多种数据分布模式，包括散列,范围，列表等一级和多级分区；存储过程的支持查询
9、内并行高速数据转载查询建表性能优化产品化单节点操作,达梦7 MPP,身份标识及鉴别：用户名、口令 安全审计：安全事件、管理事件 审计分析,自主访问控制：结合IP授权、列级粒度 强制访问控制：主客体标记、下读上写 三权分立：数据管理员、安全管理员、审计管理员,用户行为追踪,权限控制,完整性：存储校验、数据库约束 杜绝客体重用：清空残留信息,抗 攻 击,存储加密：商用密码、安全密钥管理、硬件加密、性能保证 多密钥,数据保密,达梦安全技术,防止数据窃取,防止越权访问,明确事故责任,防篡改，防泄漏,达梦可视化工具,达梦数据库管理工具,达梦数据迁移工具,达梦数据监控工具,达梦控制台工具,达梦数据库配置向
10、导,大 纲,6,致谢,与国内外产品的对比,典型案例,ETL简介,DMETL是达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据集成软件，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等应用的理想工具。,ETL:抽取(Extract)、转换(Transform)和加载(Load)的第一个字母，代表了数据交换流程的三个主要步骤。,主要应用场景,异构数据同步,数据交换,数据整合,设计思想,应用业务系统,OLAP引擎,报表引擎,数据仓库,非结构化数据,异构数据库ORACLESQL SERVER,WEB SERVICE
11、,数据源,ETL转换,数据目的,ETL,数据迁移：将数据进行转移数据同步：保持两个同构或者异构库的数据一致增量抽取：对于发生改变的进行增量更新，MD5等列映射：数据类型转换、列名变换、删除列、增加列派生列：增加新列，其值为表达式的值条件分支：根据一定的条件将数据的拆分、过滤,数据库查找替换：过滤所需数据，并且根据规则进行数据的替换自定义转换：调用java程序执行特殊的数据处理内置数据质量检查：边检查编入库同时对节点状态和数据状态监控与统计中文特色处理：全角半角转化，汉字转拼音等,DMETL技术特性,多元数据存储方式应用集成二次开发,简便的系统安装和配置适用、易操作的图形化/远程管理工具丰富的图
12、形作业控制组件作业调度多种运行方式,硬件平台无关性操作系统无关性与数据源无关性多种数据机变化捕获方式多种数据转换方式国际化支持,断点续传自动重新连接错误报警完善的日志记录,可配置工作线程和缓存基于流水线并行分区并行装载,通用性,兼容多种硬件体系,DMETL,数据库消息服务器LDAPWebServicexml excel txt dbf,X86X64SPARCPOWER,windowslinuxunix,ASCIIGBK GB18030UTF8 UTF16.,兼容多种操作系统,各种数据源支持,各种字符集支持,降低部署成本，提高了基础设施利用率和灵活性,易用性全生命周期图形化,安装向导,控制台工具
13、：服务器配置,BS监控统计系统,DMETL Studio 管理、设计、调试,全生命周期图形界面支持，降低学习成本，提高实施效率,易用性所有组件可拖拽,易用的流程设计器全拖拽式设计转换流程支持流程调试作业流程可以无限嵌套丰富的内置组件和规则内置50多种流程组件和近40种数据清洗和转换规则支持调用外部存储过程、java程序以及动态库支持自定义函数与变量灵活调度配置任意的一次性或者周期性的时间调度事件调度（DMETL系统事件、文件系统事件）能够自定插件机制,灵活的流程设计和调度、丰富的内置规则足以应对任何复杂场景。,功能特色-内置数据质量检查,内置数据质量检测组件，边入库边检测，不影响数据转换逻辑可
14、自定义数据质量检查规则数据质量检测规则可以独立于流程存在，便于数据质量规则的积累和重用数据质量统计信息可以开放给其它应用访问,功能特色-监控与统计,BS架构方便易用可同时监控多台服务器以及相关的数据源支持按周、月以及任意时段的数据统计报表对于系统异常状态支持短信和邮件告警,高性能,数据转换流程采用多线程执行，数据以流水线的方式在不同的节点间移动，避免了数据拷贝以及写磁盘的开销，整个数据流的执行时间应该接近于其中最慢的节点的执行时间,基于流水线架构的转换执行引擎,分区并行处理,流程的每个节点内部可以对数据进行分区并行处理，使得数据的吞吐量可以随着系统CPU处理能力得到接近线性的提升,普通2路的P
15、C服务器上，50个字段的表，外加三个派生计算字段，装载转换可以达到10万条/秒,可靠性,完善的日志记录功能包括系统日志、运行日志以及操作日志,支持数据磁盘缓存，数据无法写入目的数据源时，可换缓存到磁盘中,流程执行错误时，可实时告警,增量数据抽取时，支持自动断点续传,出现短暂网络故障或者数据库宕机时，可以自动重连,网络故障？,传输故障？,故障检查？,信息丢失？,符合中国国情-可视化转换规则,专为中文用户设计的转换规则，如：汉字转拼音全角转半角繁体转简体乱码检测转换大小写数字转换可边配置边预览可快速定制新规则,大 纲,6,致谢,与国内外产品的对比,典型案例,2010年1月至2012年12月，达梦已
16、经建立稳定有效的市场营销渠道和技术服务网络，达梦数据库产品已覆盖电力、安全、电子政务、消防应急、国防军事、数据中心、通信、金融、交通、邮政、审计、安检、政法、海关、国土资源、互联网等多个行业，通过数据库产品、数据分析工具套件和定制化研发实现销售收入2.15亿元。,销售收入,该项目采用“云计算”理念，利用虚拟化技术，对湖北省公安厅现有的软硬件资源以及内外部数据进行整合，实现“基础设施即服务（IaaS）”、“平台即服务（PaaS）”、“数据即服务（DaaS）”、“软件即服务（SaaS）”,湖北“公安云”,该项目最大的特点是数据量大，数据种类多。截止2013年3月共采集外部数据资源约16.5亿条,共
17、采集内部数据资源约26亿条。每天数据更新量约500万条，并随着数据资源的增多,每天更新量会进一步攀升。,湖北“公安云”,项目特色,湖北“公安云”,整合基础设施资源，提升基础设施利用率和服务能力，为公安信息化建设提供基础设施服务。整合基础运行平台，提升基础软件服务能力，为公安业务系统提供公共平台服务。丰富公安信息资产，提升数据服务和综合利用能力，为各级用户提供不同层次数据服务。有效管理信息资产，提升数据质量和资源可用度，为管理决策提供服务。挖掘公安综合应用，提升公安信息化应用水平和实战支撑能力，为各级单位提供公共软件服务。,举例,湖北省公安厅人口基础信息库,本项目用户是湖北省公安厅，人口基础信息
18、库是湖北省电子政务平台五大基础数据库之一。按照省电子政务建设的总体要求，在系统安全和信息使用安全的基础上，依托省电子政务外网平台，与省直相关部门的应用系统实现互联互通，无偿提供部分数据共享，为相关应用系统提供数据接口，为领导和相关部门在制定政策、实施管理等方面提供决策参考。,项目特色1.系统数据量较大，省级人口库记录数8000多万条，数据查询响应时间在1秒内。2.系统对数据安全要求高，通过配置数据交换平台穿越防火墙及网闸，在公安内网和政务外网之间实现安全可靠的数据交换。3.出于对人口数据的保密性要求，对数据的共享发布提供可控的访问。,湖北省公安厅人口基础信息库,架构图,消防领域应用历程,消防行
19、业应用,在全国近30个省市的公安消防领域得到应用通信指挥系统:贵州消防总队及下属贵阳支队、湖北消防总队及下属各个支队、三亚市消防支队、青岛消防支队等数据整合平台:辽宁消防总队、贵州消防总队、山西消防总队等重特大灾害事故抢险救援决策支持系统:上海消防总队等天然气应急辅助决策系统:上海市消防局、武汉消防局等业务数据整合系统：贵州消防总队、湖北消防总队、辽宁消防总队等会计集中核算系统：辽宁消防总队、山西消防总队、湖北消防总队等远程教育培训系统：湖北消防总队、辽宁消防总队等,消防行业应用,达梦数据库管理系统在国家电网“国产安全电网运行控制系统”中得到了应用与推广,电力行业应用,作为支撑坚强智能电网的核
20、心应用，国产安全电网运行控制系统对数据库提出了严格的要求：,电力行业应用,电力调度系统D5000的使用部署,国调D5000系统现已试点单位中，达梦数据库使用率占70%以上,电力行业应用,电网信息化领域使用达梦数据库的项目,第一个非框架采购项目，用户主动采购,电力系统第一个国产信息口项目,电力行业应用,电力行业每年可带来超过2000万的销售额2010年达梦数据库与Oracle等国外数据库同台竞争，在国家电网公司信息化框架采购公开招标中以第一名中标成功入围国家电网信息口单一来源采购,电力行业应用,安全行业应用,依据审计署关于2010至2011年对地方审计信息化建设任务的指导意见和审计署办公厅关于做
21、好金审二期工程验收和成果推广工作的通知，从2010年启启动审计管理系统的国产化工作。,审计行业应用,政法委应用,省级政务应用,2012年12月,达梦数据库在公开招标中击败国际数据库巨头oracle，成功中标安徽省民政厅民政救灾信息管理系统项目,省级政务应用,中共中央办公厅,国土资源应用,结构：架构于达梦数据库之上，分为公网（申请人使用）与内网（审查员使用）。社会公众可以注册用户或者匿名的方式，登陆质量投诉平台，就专利申请受理、三种专利初审、发明专利实质审查、复审、无效审查以及事务处理等专利审查全流程中出现的审查质量问题，进行质量投诉。,范围：国家局集中部署，供全国专利系统使用。,知识产权局及专
22、利,2011年12月，海关总署采购达梦数据库。达梦数据库在海关总署信息中心组织的国产数据库测试中，排名第一。达梦数据库积极配合海关总署做好技术支持服务工作，目前应用系统已上线可靠稳定运行。2013年启动的金关二期工程已确定采用达梦逐步替换国外产品。,海关总署,统计,“宏观经济统计与监测基础信息库”是湖北省五大基础数据库之一。构建宏观经济统计基础数据库。提供统计分析、监测、预警和宏观决策的完整方案。提供快捷方便的数据查询和报表设计解决方案。提供数据报送和高效数据加载解决方案。提供数据交换平台，方便中心数据库与发布数据库之间的数据共享交换。系统跨越三个网络：统计专网、湖北省政务网和互联网,项目背景
23、 2008年5月12日发生的四川汶川特大地震灾害，使灾区大量学校校舍严重损毁，造成灾区师生重大生命财产损失。为此，国务院正式启动了全国中小学校舍安全工程（以下简称“校安工程”），要求在对校舍全面排查鉴定的基础上，建立健全所有中小学校、所有校舍的安全档案，对各级各类城乡中小学存在安全隐患的校舍进行抗震加固、避险迁移，提高综合防灾能力，确保将学校建成最安全、家长最放心的地方。,教育,民政,“数字民政”针对民政业务分散的特点而提供的一个全面整合的数字业务平台，充分实现了民政行业的业务集成与流程互通。在民政业务的服务、管理、监督三方面进行重新信息化需求整理，从而实现业务层面的整合。本平台基于J2EE的
24、大集中系统模式，充分使用集成分级的机构用户管理、细粒度的权限管理、基于工作流引擎的流程管理等技术，保证平台系统的整合性。,结构：架构于达梦数据库之上，全自主开发，以“横向拓展（覆盖中央各部门）、纵向延伸（建立五级体系）”为建设思路，构建全联网的信访协同平台。,范围：32个省、358地市，服务全国民众。,信访,全国信访信息系统,基于达梦数据库的全国水利信息化项目“金水”包括防洪和抗旱部分。防洪部分覆盖7个流域、24个重点防洪省（市）、224个地级水情分中心和工情分中心相连的927个重点防洪县的工情采集点。此外，还有中央直管的7个工程单位、9个大型水库、12个蓄滞洪区。抗旱部分覆盖31个省（市、区
25、）、267个地级旱情分中心以及与之相连的1265个易旱、旱情采集点。,水利,质检,气瓶智能钢印标志及气瓶安全监管系统目前已部署至全国所有省、自治区、直辖市。,国家文物局,为摸清全国馆藏文物家底，了解和掌握馆藏文物的基本状况，由财政部和国家文物局联合启动了“文物调查及数据库管理系统建设”项目。截至目前，文物调查项目已在山西、河南、辽宁、甘肃、湖南、湖北、河北、浙江、四川、陕西、广西等地实施。,文物调查及数据库管理系统建设项目,该项目是涉及国产硬件、操作系统、数据库整体解决方案的联合作战。现已开始针对达梦数据库的性能、可扩展性、容灾、数据量进行需求验证测试。,PNR系统,OPEN NV系统,sea
26、mless系统,中航信,现已启动功能需求验证测试,新华社,烽火通信是国内优秀的信息通信领域设备与网络解决方案提供商，达梦与烽火开展了广泛、务实的合作。DM数据库已在烽火公司OTNM2000等网管产品中应用。,OTNM2000系列网管产品典型的部署环境是国内各大电信运营商的通信网之中，涵盖了长途传输网、本地网等各通信网层面。,OTNM2000网络管理系统体系结构,电信行业应用,金融行业应用,工信部：内网办公系统国资委：绩效考核系统国家保密局：保密检查系统中央档案馆：数字档案信息系统电监会：协同办公系统铁道部：安全电子支付系统国家统计局：涉密网办公系统安监总局：国家安全生产信息系统人口计生：计生知
27、识培训考核系统中联部：政党外交信息化工程一期项目农业部：三电合一综合信息服务平台中国电子信息产业集团：综合办公系统湖南省：湖南省政府综合办公系统安徽省：安徽省政府网上行政服务工程,其他行业用户,财政行业：集中核算、社保资金发放、非税收入、国库收支、财务总帐等系统。卫生医疗：北京天坛医院、北京协和医院、上海市疾控中心、无锡中医院、浙江大学附属第一医院、上海数字化社区卫生服务系统等。教育行业：华中科技大学、华南理工大学、武汉大学、西北工业大学、华中师范大学等。制造行业：武汉开目、陕西金叶、黄石纺机厂、江南船舶、红旗造船厂等物流领域：中石油玉门分公司交通领域：交通部船用一体化机项目,大 纲,6,致谢
28、,与国内外产品的对比,典型案例,与国外产品的对比,标准符合率高于国外产品具备目前主流国外产品宣称的高级特性或替代解决方案，如集群、主备、多版本并发控制、对象数据类型、分区、压缩、xml数据类型等，技术创新能力不如国外在PC服务器级别的硬件环境下性能和国外数据库产品（oracle、sqlserver、db2等）相当，联机事务处理达到70000TpmC，联机事务分析达到3000TphH100G安全等级高于国外产品首个同时支持行列混合存储和MPP架构的通用关系型数据库（teradata最新提出，但是非通用产品）产品可定制性强，定制周期短产品应用规模和成熟度和国外产品差距很大,与国内产品的对比一,完全
29、独立自主研发其它基于postgreSQL或者mysql技术团队稳定，技术沉淀深厚技术领先率先实现了真正的负载均衡集群MPP，正在研制HPC行列混合存储，达梦一个产品能够解决其他公司几个产品才能解决的问题，并且是跨公司的产品，接口和使用方式大为不同，而达梦是完全一致的,对国内产品对比二,市场占有率最高（按产品销售额）国内的大规模政府采购和行业买断基本上都是达梦独立或以第一名中标得到了实际生产系统的验证最多省级消防指挥系统12年不间断运行，国网4级电力调度系统80%以上网点运行2年以上等，两个军口型号项目（其他没有）易用性和移植难度符合技术人员使用习惯，用户体验最好与商用数据库兼容性好，特别是Oracle提供了更成熟的迁移工具，保证迁移效率移植后系统性能普遍优于原有系统,对国内产品对比三,技术服务体系完善分支机构最多原厂商服务团队人数最多，并多为核心研发人员面向国网、审计、军工、公安消防等行业形成专门的服务团队产品线、配套工具与解决方案产品线丰富齐全，并且接口统一提供了大量的数据中心与商务智能套件，有丰富的案例实施经验,标准符合率对比,高级功能对比一,高级功能对比二,致谢,感谢各位专家和领导！,
