全业务数据中心数据中台试点建设.docx
- 文档编号:3447126
- 上传时间:2023-05-05
- 格式:DOCX
- 页数:42
- 大小:192.44KB
全业务数据中心数据中台试点建设.docx
《全业务数据中心数据中台试点建设.docx》由会员分享,可在线阅读,更多相关《全业务数据中心数据中台试点建设.docx(42页珍藏版)》请在冰点文库上搜索。
信息化项目可行性研究报告
项目名称:
XXX电力-全业务数据中心数据中台试点建设-实施项目
项目申报单位:
XXX电力公司信息通信分公司
编制单位:
XXX电力公司信息通信分公司
信息化项目可行性研究报告
2017年 10 月17 日
信息化项目可行性研究报告
目录
1 总论........................................................................................................................... 6
1.1主要依据.................................................................................................................... 6
1.2主要原则.................................................................................................................... 7
1.3必要性分析................................................................................................................ 8
1.4效益分析.................................................................................................................... 9
2 建设现状.................................................................................................................. 10
2.1全业务统一数据中心分析域建设情况 10
3 项目需求分析........................................................................................................... 12
3.1业务功能需求.......................................................................................................... 12
3.2非功能性需求.......................................................................................................... 17
4 建设方案.................................................................................................................. 19
4.1项目目标及范围....................................................................................................... 19
4.2项目建设内容.......................................................................................................... 20
4.3技术方案.................................................................................................................. 29
4.4项目实施计划.......................................................................................................... 34
5 经济性和财务合规性................................................................................................. 36
6 软硬件设计............................................................................................................... 37
7 主要设备材料清册.................................................................................................... 37
7.1编制说明................................................................................................................. 37
7.2主要设备材料表(无)........................................................................................... 37
8 投资估算书............................................................................................................... 37
8.1概述........................................................................................................................ 37
8.2编制原则和依据...................................................................................................... 38
信息化项目可行性研究报告
8.3投资分析.................................................................................................................
38
8.4估算表及附件..........................................................................................................
38
表-1...............................................................................................................................
40
项目投资估算示范表......................................................................................................
40
表-2...............................................................................................................................
41
项目实施工作量明细表...................................................................................................
41
表-3...............................................................................................................................
34
项目投资其他费用表......................................................................................................
34
1总论
本项目是信息化建设类新建项目。
项目基于初步建成的企业级统一云服务平台和全业务统一数据中心基础上,探索建立数据中台服务机制。
构建遵从SG-CIM3.0的信息模型标准的数据质量治理和数据融通试点工作,并探索提供基于标准的数据服务。
推进浙江电力整体数据质量提升,丰富跨专业的数据共享机制,构建数据公共服务组件,强化数据安全管控,建立常态化的企业数据管理新模式,实现前端数据融合、后端数据共享的企业数据融通体系,培育浙江电网特色的企业数据文化,让数据成为驱动浙江电网业务创新发展的源动力。
1.1主要依据
1.《公司“十三五”信息化发展规划》
2.《国家电网公司信息系统上下线管理办法》
3.《国家电网公司信息化建设管理办法》
42
4.《国家电网智能化规划总报告》
5.《国家电网公司数据中心典型设计》
6.《国家电网公司公共数据模型(SG-CIM3.0) (试行)》
7.《国家电网公司应用软件通用安全要求》
8.《智能电网安全防御体系》。
1.2主要原则
(1)“统一性”原则
项目设计遵循四统一原则,即统一领导、统一规划、统一标准、统一建设的原则。
在按照公司全业务数据中心整体规划的指导下进行,符合公司整体要求。
(2)先进性原则
确保平台架构设计先进性、技术路线先进性、测试技术先进性以及组件选择先进性。
(3)安全、可靠性原则
服务体系建设应充分考虑服务的安全防护、容错能力和抗干扰能力,保证数据服务长期稳定、安全、可靠、高效地运行。
(4)实用性原则
遵循以数据服务为核心的设计理念,提供一致性、人性化用户体验,最大限度地满足客户的实际需要,操作便捷,功能完善,界面友好。
(5)可扩展性原则
符合国际及国家通用标准,具备良好的开放性和可移植性。
采用标准开放平台接口。
1.3必要性分析
随着公司各业务发展与应用创新的不断深入,信息通信技术在智能电网和现代公司中的关键核心作用已逐渐凸显,日常电网运行和管理数据已经成为了公司的重要资产。
根据公司“十三五”信息化规划总体要求,按照“一平台、一系统、多场景、微应用”的整体技术路线,经过两年半的建设,已基本建成“浙电云”
企业级统一云服务平台和全业务统一数据中心分析域,初步实现平台资源和跨专业数据共享。
但信息系统孤岛现象仍然存在、企业业务数据质量不高、数据冗余、数据管理技术支撑和管理机制不够完善、数据分级分类不够标准等问题制约着公司的业务发展以及管理水平提升。
企业数据的融会贯通是促进公司业务发展的重要支撑,加强企业数据质量融通能力是未来公司整体提高业务发展的一个重要抓手。
因此开展数据治理和优化,提升数据质量和数据融通已经刻不容缓。
1.4效益分析
(1)通过在全业务统一数据中心建设数据服务中台,确保接入数据中台的模型数据符合SG-CIM3.0标准,并能提供符合标准的数据服务,为全业数据中心标准化工作进行落地,从而提高系统实用化水平。
(2)全业务统一数据中心的数据服务中台对接入的数据进行数据拼接、数据清洗、数据校验,完成数据融合工作,提高系统的数据质量。
(3)全业务数据中心的数据中台在标准化基础上,提供高中压的电网台帐、拓扑、图形、用户的基础数据服务,为浙江公司微应用建设提供基于标准的数据支撑服务,从根本上解决数据孤岛问题。
2建设现状
2.1全业务统一数据中心分析域建设情况
按照国家电网公司关于全业务统一数据中心的建设要求,浙江公司承担分析域专项试点建设工作,经过两年多来的建设,已具备全业务数据统一存储、管理与分析的能力,基本满足各部门(跨专业)的数据共享与应用技术需求。
在数据接入方面:
按照接入原始业务数据的原则,分析域已有效汇集了ERP、PMS2.0、营销等39套系统核心业务数据
(包括明细数据、部分统计数据),覆盖了公司调控、生产、营销、企业经营管理等核心业务,数据总量约为370T,其中结构化数据总量为87.1T,非结构化数据总量207T;调度实时量测类数据利用海量平台前端数据接口通道,接入省调以及温州、宁波、台州、舟山、嘉兴五个地区2017年2月起的部分电网运行实时数据(包括设备档案数据以及遥信、遥测数据),目前数据量约为75.9T,该六个地区历史数据正在接入中,调度管理类数据、保护以及遥脉数据调度部门尚未开放权限。
在数据加工处理方面:
针对接入离线结构化数据库的
28585 张数据表,基本完成业务明细层数据的梳理筛选、格式
转换等加工处理工作,截至目前,有8278张统一视图层数据表,
9177个数据加工任务定时运行,并初步完成814个数据仓库模型的加工转换。
在数据对外服务方面:
目前离线结构化数据库已基本完成生产、营销、企业经营管理等核心主数据以及相关业务的明细
数据整理,依托数据管理工具,初步形成数据结构目录查询服务;同时可借助BASE平台进行离线结构化数据的统一加工处理、任务调度、运维监控。
目前智能运检管控平台、配电网规划(温州试点)、财务资产精益化平台(一期)、运监数据资产协同应用、物资同业对标指标看板等应用已基于分析域上线试运行;同时通过数据接口定时向PMS2.0以及国网运监推送设备、项目等相关明细数据,并先后向人才模型培育、发展精准投资等多个项目提供技术以及数据咨询服务。
但是全业务数据中心分析域属于基础数据平台,目前对外服务主要为应用开发团队提供明细数据,基本上以一项目一服务模式为主,尚未在数据服务团队横向构建企业数据服务共享沉淀层,大量数据服务由项目应用厂商或源业务系统掌握,业务人员无法直接查询使用数据。
3项目需求分析
3.1业务功能需求
随着全业务数据中心系统的不断发展和深入,对数据的完整性、精确性、合法性、一致性、唯一性提出了更高的要求。
具体的业务功能需求如下:
1、信息孤岛问题的解决
在不同业务系统中由于业务要求不同和技术手段限制,存在同一业务数据多源存储、数据颗粒度及侧重点不同的情况,因此各业务系统根据自身业务标准进行数据转换后存在差异性,基层工作人员需要在不同业务系统间反复查询、比对、合并,导致存在信息孤岛现象。
如:
对于主变压器设备,生产PMS2.0 系统重点关注设备名称、电压等级、所属变电站、运行状态、容量、投运日期等;ERP系统重点关注额定容量、投运日期、型号、运行状态等;OMS系统重点关注设备名称、设备类型、所属变电站、运行状态、有功、无功、电流电压、电容电抗参数等;营销重点关注
对应线路、台区名称、铭牌容量、运行状态、投运日期、型号等。
通过全业务数据中心的数据中台试点项目实施能够将现有系统的模型数据按照标准化定义进行融合,并提供统一的标准化服务来彻底解决信息孤岛问题。
2、数据冗余问题的解决
近年来国家电网公司及公司对业务专业管理的要求越来越严格,造成各业务部门对业务数据的查询、统计、分析等方面需求大增,目前主要通过业务系统增加功能模块、建设独立辅助应用两种方式解决,也因此产生下列问题:
(1)建设独立辅助应用,造成数据多源存储
由于建设独立部署的专业性、辅助性的应用,每一个应用都会备份存储业务系统的业务数据,再进行后续分析、统计,造成同一业务数据进一步出现多源存储、多源应用的情况。
(2)业务系统内增加功能,造成数据冗余
在业务系统上增加大量的查询、统计和分析功能,对应产生了大量的统计、分析数据使用的数据表,但缺乏相关的管理机制,造成出现大量的冗余数据表、数据。
通过全业务数据中心的数据中台试点项目实施对接入数据中心的模型数据按照标准化定义进行拼接、过滤、清洗来解决模式数据中的冗余数据。
3、数据质量不高问题的解决
目前企业数据质量不高主要体现在数据正确性和完整性不够、业务系统间数据同步不及时、数据集成接口不够规范等
(1)业务数据正确性和完整性不够
现有业务系统之间,仍然存在部分业务数据未实现贯通,系统之间缺少相应的业务闭环管理流程,导致数据正确性和完整性不够。
(2)业务系统间数据同步不及时
一是已贯通业务的存量数据匹配未完成。
已实现数据同源、业务贯通的业务系统中,由于贯通前各业务系统之间的业务标准、技术结构存在差异性,造成部分存量数据匹配工作未完成。
二是系统功能升级前后业务标准不一致。
各业务系统功能升级过程中,由于代码变更、字段调整等原因,有部分历史数据会出现与发布后的业务标准不一致的情况。
(3)数据集成接口不够规范
目前各业务系统之间虽然大部分业务数据通过系统集成方式实现了数据贯通,但由于系统集成功能不完善、集成接口不稳定等原因,造成数据不一致。
通过全业务数据中心的数据中台试点项目实施对接入数据中心的模型数据按照标准化定义完成拼接和加入人工智能算法的数据清洗工作后,对预处理数据进行数据质量校验来提高数据中心的整体数据质量。
4、数据管理优化
数据管理目前处于粗放型、人治阶段,对数据的本身管理尚未形成规范化的流程,管理机制不成熟,自动化辅助工具不健全,仅能完成单独业务系统的数据管理工作。
但目前各专业
的新增业务逐渐增多,各种跨专业、跨系统的业务贯通需求大量出现,数据管理面临着多系统之间涉及几万张表协同管理的需求,存在企业级数据中心架构规划无标准,数据准确性缺乏审核机制,取数成果复用率低,数据架构变更联动机制不完善,缺少企业级的数据专家团队等问题。
而且,现阶段各业务系统及辅助分析平台的数据管理,主要依托整体数据比对、日志记录、异常告警和人工比对清理等技术手段进行数据管理,对于多业务、跨专业、跨系统之间的数据管理普遍存在手段单一、针对性过强、效率低下、响应过慢等问题。
通过全业务数据中心的数据中台试点项目中的微服务运行监测功能的实施,来完成对数据的自动监测、管理和维护。
3.2非功能性需求
(1)性能与可靠性
系统RDS数据量将达到1TB;
系统Redis数据量将达到1TB;系统所需储存空间需求将达5TB;响应时间要求小于500ms;
网络带宽需求:
数据服务中台在并发用户数设计要求范围内时,网络带宽平均利用率不超过60%;
可靠性:
能够支持7*24小时连续运行,同时具有良好的容错能力;
(2)信息安全
本次项目完全基于“浙电云”平台和全业务统一数据中心系统进行建设,不改变原有系统安全架构和等级保护要求。
(3)灾备设计
本次项目完全基于“浙电云”平台和全业务统一数据中心系统进行建设,沿用原有系统的灾备设计。
除上述非功能性需求内容外,其他非功能性需求相关内容将严格按照《国家电网公司信息系统非功能性需求规范(试行)》执行,在系统后续设计、建设过程中逐步完善。
4建设方案
4.1项目目标及范围
4.1.1建设目标
通过本项目的实施,基于浙电全业务统一数据中心的建设成果上,围绕业务微应用建设迫切需要的共享数据服务,根据SG-CIM3.0的信息模型规范,完成对电网生产管理业务需要对外提供的数据开放服务规则的梳理;实现基于统一电网模型数据的数据加工清洗;面向公司所有的内部微应用开发,提供开放的浙江电网高中压电网设备、拓扑、图形和用户等基本信息的数据服务;建立对微服务在运的动态管理、审计功能和数据服务、数据质量的回溯追踪能力。
4.1.2项目范围
本项目实施覆盖范围:
组织范围:
国网浙江省电力公司本部、11家地市公司、64家县公司及所有直属单位。
数据范围:
电网高中压、用电客户的基础数据应用范围:
基于“浙电云”的内部微应用、微服务
4.2项目建设内容
本项目建设内容如下:
1、构建统一电网模型
统一电网数据模型将使以后的业务设计、开发、部署更加简单、清晰和可靠。
使用统一电网数据模型可以使得应用开发不必对数据获取、存储进行重复开发,而是将精力专注于业务应用,提供业务应用质量,促进业务发展。
会让业务进入很多新的、有价值的发展方向。
由于统一电网数据模型涉及专业多、技术难度大,创新性强,任务十分艰巨,为了满足对统一电网数据模型的要求,充分认识其重要意义,加强合作,克服困难,全力推进。
对浙江
的全业务数据中心现行使用的高中压资源、资产、图形模型进行研究讨论,并详细学习IEC61970-301IEC-CIM、IEC61968-11配网模型扩展、IEC61970-552电网模型数据交换
格式、IEC61968-13配网模型数据交换格式、IEC61970-452
电网模型子集、IEC61970-451量测模型子集、IEC61970-456
电网状态子集、IEC61850系列自动化装置模型。
模型数据遵循标准规范,其基础模型结构及数据字典由PMS2.0统一维护,并同步至模型中心,保障属性统一,并提供元数据、字典管理功能。
对全网设备按调度管辖统一编码,实现设备ID唯一。
2、数据拼接
由于当前全业务数据中心的电网模型数据来源于多个系统,其中最主要的一次设备台帐数据、资源数据、地理空间数据、专题图(包括单线图、系统图、台区图等)来自于PMS2.0
系统,专线、专变、大用户、采集设备来自于营销系统,二次设备资源资产数据来源于新一代四区主站。
数据拼接模块在统一电网模型定义基础上,分别先后接入不同系统中的模型数据数据,依据各系统模型自身特点与差异进行模型转换和拼接,以达到符合统一电网模型定义,完全融合各系统模型数据。
3、数据清洗
项目将针对接入业务中台数据的数据质量以及用户的特别需求,建立数据清洗过程的元数据模型,对清洗过程中用到的数据库对象和知识库对象进行管理,并引入人工智能方法参与数据清洗。
使用人工智能中的贝叶斯识别方法,通过朴素贝叶斯分类器识别特别需求自动是否符合正确样本特征,来发现可疑数据,并通过深度学习提高可疑数据发现效率和成功率,从而大大降低人员维护的工作量。
数据清洗主要是对系统中的异常数据进行处理,主要是对接入数据中台的所有的电网模型数据、量测数据进行异常判断,发现异常数据并进行相应的处理。
异常数据主要包括了残缺数据、错误数据和重复数据。
1)残缺数据
这一类数据主要是一些应该有的信息缺失,如设备的名称、设备关键属性值、客户的区
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 业务 数据中心 数据 试点 建设
![提示](https://static.bingdoc.com/images/bang_tan.gif)