BI数据中心搭建流程.docx
- 文档编号:16690972
- 上传时间:2023-07-16
- 格式:DOCX
- 页数:19
- 大小:473.39KB
BI数据中心搭建流程.docx
《BI数据中心搭建流程.docx》由会员分享,可在线阅读,更多相关《BI数据中心搭建流程.docx(19页珍藏版)》请在冰点文库上搜索。
BI数据中心搭建流程
一、前言
数据中心的整体搭建主要涉及软环境和硬件架构设计两方面,软环境包含数据源、ETL过程、ODS、DWH和前端展现等。
硬件架构为使用的服务器、交换机等硬件承载设备。
为了有效的利用数据中心,需要在软、硬两方面都要关注,不能出现“短板现象”,使其中之一成为整个系统的瓶颈。
硬件部分相对较为简单,确定设备数量、型号和性能指标,进行Infra设计,在系统开发完成之前到位,不可耽误系统测试阶段的进度。
在此着重介绍软环境部分。
二、总体架构
在整个数据中心项目过程中,将会涉及上图中的各个环节,其中针对数据仓库的设计会有两种情况:
自顶向下搭建
这种搭建方法,是将用户目前所涉及的所有业务系统都统一的进行数据抽取并按照一定规则存放在数据仓库中,搭建好这个整体的数据仓库之后所有的数据利用通过此数据仓库完成。
优势:
数据仓库一步成型,规划思路明确,数据存放有条理,对日后业务的开展可进行快速响应。
劣势:
整合所有数据源耗时长、人力、物力、财力投入大,对于完成整体数据仓库之后有利用不上的可能,造成资产浪费。
自底向上搭建
这种搭建方法,是针对业务分析主题而去逐步整合用户数据源的过程,当企业发展到某一阶段需要对某项业务主题进行分析时,可以通过此种方法整合所涉及的数据源,已达成数据分析利用的目的。
优势:
有针对性的整合数据源,目标明确,能够有效的避免资源浪费,缩小项目范围,大大提高项目成功率并能充分利用,缩短项目周期,效果立竿见影。
劣势:
分布实施使得总体项目周期延长,当遇到突发业务变化时,局部整合的数据源有可能不能支持业务的需要,应变能力有所不足。
三、数据中心搭建具体流程(架构角度)
对于数据中心的搭建流程,从架构角度出发会涉及数据源整合ETL、ODS或DWH搭建、多维分析模型建立、数据展现平台搭建、Protal门户的搭建。
不论是选择哪种方式进行数据中心搭建,都需遵从以下步骤。
1、数据源整合ETL
对于现有业务数据源进行整合。
有可能当前分析主题只涉及一个数据源,即使如此也许进行ETL过程。
首先,搭建数据仓库或数据集市不应直接使用原有业务数据库,这样既不高效也不安全,数据格式还不统一。
其次,数据源的数据质量不能保证,其中有可能存在重复数据、脏数据等问题,在进行数据分析过程时,这些因素是必须要去掉的。
所以,进行数据源的整合步骤时,不论是涉及一个还是多个数据源,操作原
理是一样的,此过程为必要过程。
2、ODS或DWH搭建
ODS(OperationalDataStore)操作型数据存储,是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。
DWH(Datawarehouse)数据仓库,是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。
搭建此层级的目的很明确,为分析主题提供数据支持。
有了DWH或ODS+DWH
后,就可在此层级之上进行数据建模、展现等工作。
3、多维分析模型建立
作为商业智能领域的核心,多维建模可以说是非常重要的一个环节。
在这个环节中的维度设计、指标划分、度量等多方面的考虑,直接影响数据利用的效率和可实现的功能结果。
在建立多维模型前,需要与最终用户进行需求分析,明确用户想要的,并明
确能实现的是哪些。
将需求工作做好,以免日后项目功能不达标。
4、数据展现平台搭建
在这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务
层和联机分析服务层等。
对于商业智能的表现手段来说,可以是多种多样的。
✍通过仪表板、平衡记分卡、图表、报表等多种手段进行展现;
Ø使用上钻、下钻、钻透等方式来辅助使用者利用数据信息;
Ø通过预设好的数据模型,用户可以自主的进行自定义报表的制定,完成这一
切只需要简单的拖、拉、拽操作,便于使用。
5、Protal门户的搭建
作为整个数据利用的最后一层,担负的责任最为重大,直接将界面呈现给最终用户,一般情况下会使用B/S结构,通过浏览器进行展现,如其中涉及了一些特殊控件时,可能会通过浏览器调用一个本地应用来支持完成。
当然,通过Protal对用户进行安全验证和权限控制也是另外一个很重要的原因,当不同的用户登录后,会验证在不同的用户组中,登录之后展现的界面也是有所差异的,这样就使数据利用系统有一个统一的展现界面,关心不同问题的用户等够有所划分的看到不同展现。
四、数据中心搭建具体流程(项目角度)
对于数据中心的搭建流程,从项目角度出发会涉及前期调研阶段、需求分析阶段、设计阶段、开发阶段、系统测试阶段、用户测试阶段、上线阶段、结项阶段。
1、前期调研阶段
在此阶段中,需要大致明确用户需求,对用户环境进行调研,如让用户填写调查问卷等。
如采用招标流程,需要仔细研究标书内容,确定工作范围,并能保证功能满足用户需求。
此段时间一般不超过2周工作日,细致的用户调研会安排在需求分析阶段。
2、需求阶段
在签订项目合同之后,正式进入项目阶段,需求分析阶段主要是明确用户的需求,将可实现与不可实现的列出,将需求分析落实在纸面上,并双方确认达成共识,在确认之后发生的变化,统一划分为需求变更处理。
按照项目规定完成时间,此阶段占用时间根据对用户环境、系统和需求的了解程度而制定,如对上述都不了解,则应放宽需求阶段时间,以确保项目最终能够达成用户需求,减少不必要的项目变更。
3、设计阶段
在设阶段会涉及模型设计、用户界面设计、数据模型验证和原型演示功能设计等。
Ø模型设计中会包括元数据与CUBE设计;
Ø用户界面设计中包括Protal部分设计、报表等其他功能设计;
ØCoding部分编写;
将设计总结为完整的设计报告,提交项目小组。
此阶段需要用户进行配合,进行阶段性成果物确认及设计方案确认。
当出现
与用户不一致时,及时进行讨论,以免有所偏差。
4、开发阶段
开发阶段将会按照前期的设计部分执行,设计Protal开发(主要为客户化需求制定)、前端展现部分开发、CUBE部分开发和ETL部分开发。
由于项目属于BI项目,所以编写代码部分较少,在Protal部分及前端展现部分会涉及到一些.net开发,其余属于所见即所得式开发。
在开发阶段基本不需要用户进行配合,每周进行项目周报进度提交即可。
5、系统测试阶段
进入系统测试阶段后,开发部分已经基本结束,由开发团队进行系统测试。
开发团队中将安排专职负责系统测试人员,通过黑盒、白盒等模式进行测试,
主要涉及功能实现、数据比对、性能测试、排查bug等工作,并提交完整的测试报告。
此部分如无重大开发失误,则耗时较短。
6、用户测试阶段
经过系统测试阶段后,最终用户可进行实际测试,查看否符合项目预期,此
时在理论上应不存在功能和设计上的缺陷,主要是实际数据加载后的性能测试。
7、上线阶段
通过两轮测试之后,系统正式进入上线阶段,此时主要为收集实际用户使用反馈情况,记录系统正式上线后的性能等。
对最终用户进行系统操作培训,提交相关使用文档。
8、结项阶段
举行项目庆祝会。
提供完善的项目售后服务。
总结项目得失,如有后期工程,开始进行准备后期项目。
五、分布搭建规划
作为一个企业构筑数据中心是一项庞大而复杂的项目,想一蹴而就能够很快
的呈现出一个完美的数据中心系统是不现实的,我们在这里为了能够化繁为简、逐步深入,将数据中心项目分成了三期工程来实现,这样做的好处是能够快速的体验的数据中心的价值,将项目时间划分为段落,缩短单个项目时间和范围,便于项目的整体把控和开展。
对于用户能够减少首次投入,减小项目风险,在项目的实施过程中不断的完
善自己的想法,整理出一套适合自身企业的度量标准。
1、一期任务和目标
✓供应、库存、销售统一视图
✓统一维度和指标体系
✍基本指标建立
✓制式报表
✓常用报表
✓专用业务分析报表
✍综合报表
✍常用数据图表
一期目标在于能够搭建出一个企业数据中心的基础平台,将此平台搭建好之后,做到关键数据源整合,对目前企业最重要的痛点进行改造,有了完善、可信、准确的数据之后就可将企业日常管理中最熟悉、最常用的管理方法、手段,通过我们的数据中心展示出来,让用户开始对数据中心概念有所直观了解逐步去深入挖掘数据中心的价值。
2、二期任务和目标
二期的主要任务如下图:
深入应用期
✓其他系统导入
✓外部系统数据
✓其他公司经营系统数据
✓供应、物流、销售、服务、库存、财务统一视图
✓优化完善维度和指标体系
✍建立局性KPI指标体系
✓部门间信息互通
✓信息订阅分发
✓常用业务报表
✓专用业务分析报表
✍综合分析报告
✍供应、物流、销售、仓储相关指标监控仪表板
二期目标在于深入利用数据中心的强大功能,将企业中设计的多个数据源进行导入,如果有外部数据也可一起导入。
当数据的来源越多,数据中心所能提供能综合分析能力越强,就像一台可自我学习的机器一般,将企业的整体信息融汇在一处。
通过一期项目的摸索和使用后,对关键指标的建立、数据的展现方式、综合分析的能力等都会提出更高的要求,在二期项目中将会完善这些要求。
3、三期任务和目标
三期的主要任务如下图:
普及提高期
✍相关外部数据
✍内、外结合的综合分析数据视图
✓部门化KPI指标
✓KPI指标分解
✓建立分析模型
✓用户自定义分析
✓自行报表发布
✓文档交互
✓数据驱动分发
✍KPI驱动的报表
三期作为项目划分的最后一个阶段,当然也许还会有后期项目,因为数据中
心的搭建本身就是一个不断完善的过程。
而这里的第三期项目主要就是进行分析、利用、综合的加强改造,通过前两期的设计和使用,用户已经对数据中心和BI理念有了充足的认识,不论是数据整合层面还是指标建立或是展现方式等等,都有了更加深入的理解和自身的感悟。
在三期项目中目标就是要将这个数据中心能够更加适应企业的特点、更加全面的服务企业,使其能够成为企业管理中不可或缺的一部分。
六、项目管理行动对照表
1、启动过程组
启动过程组核对表
行动
1
从通过可行性研究的候选项目中选择一个项目
2
选择项目经理
3
授权给项目经理
4
收集历史信息
5
把大项目划分成几个阶段
6
确定高层次干系人,识别他们的影响,以及对风险的承受力
7
把干系人的需求和期望转换成项目的要求
8
保证商业需求已经记录
9
记录假设
10
记录限制条件
11
保证最终的产品范围是可实施的
12
理解项目如何与组织的战略目标相适应
13
决定项目目标和产品目标
14
使解决冲突目标的方法实施起来更加方便
15
熟悉与项目相关的公司文化和结构
16
找到现有的流程和标准
17
理解公司如何开展业务及适用于项目的公司已有的程序和政策
18
使用项目规划过程组做高层次计划
19
完成关于项目进度和预算重要估算的顺序
20
决定项目章程的形式,以及原因
21
和干系人及客户协调项目的启动事宜
22
和客户一起决定可交付成果的标准及项目的范围
23
决定最初的项目组织
24
记录已知的所有风险
25
决定所有需要的里程碑
26
决定范围如何控制
27
最终确定项目章程
28
得到项目章程的正式批准
2、规划过程组
规划过程组核对表
行动
1
决定如何计划范围、时间、成本、风险、质量、过程改进和采购,以及将这些计划放在各个知识领域管理计划的开始
2
完善来自项目启动的要求,使它们更加具体
3
创建一个关于项目可交付成果的描述,这项工作要求完成项目范围说明书
4
在进一步的计划完成前利用项目范围说明书从干系人那里得到关于最终范围的批准
5
确定项目团队
6
建立WBS
7
在WBS词典里创建关于每个工作包的描述,使得被分派做这项任务的新手也能够明白
8
如果必要的话把工作包划分为活动
9
排列活动,确定先行和后续的活动
10
估计资源需求
11
和职能经理会面获得资源使用权
12
决定估计的准确程度
13
保证人员在估计的时间和成本内工作
14
确定如果不压缩工期的话项目多久能够完成
15
编制进度模型
16
编制预算
17
确定质量标准及考核质量的绩效标准
18
确定随后需要哪些程序以减少监管的工作,改进质量和使用标准
19
明确确定所有项目成员的角色和责任,确保干系人知道这些人的职责,以及他们需要做哪些工作
20
确定需要从其他项目那里得到的信息,以及能给其他项目什么信息
21
和所有干系人一起工作并理解他们的沟通要求
22
完成风险识别、定性和定量分析,以及风险应对计划
23
对项目管理计划进行滚动更新
24
确定采购对象
25
准备采购文件
26
注意其他项目可能积极或者消极影响本项目的地方,以及本项目对其他项目的影响
27
最后确定如何执行和控制所有管理计划
28
计划考核项目绩效的方法,使用的标准,什么时候用及如何使用
29
确定为了保证项目绩效和项目计划一致需要的控制手段包括会议、报告及其他活动
30
确定改进过程的计划
31
制定最终的项目管理计划,通过进度网络图和项目能够达到的目标的绩效测量标准
32
从出资人、团队和职能经理那里得到正式的批准
33
和所有干系人、团队成员、团队成员的职能经理、客户一起举行启动大会,保证所有目标和利益的一致性
3、执行过程组
执行过程组核对表
行动
1
确定并管理所有干系人的期望
2
保证对工作的理解一致
3
实施最初的项目管理计划或者经过控制修改后的项目管理计划
4
完成工作包
5
收集并记录经验教训
6
建立并管理共同渠道
7
评价项目团队作为一个整体的有效性
8
实施批准的变更、纠正行动、预防措施和缺陷补救
9
实施质量保证程序
10
产生项目报告
11
举办团队建设活动
12
在团队会议上遵循程序
13
为团队成员争取必要的培训
14
发布信息
15
清除障碍
16
实现满足需求的工作结果
17
与职能经理会面确认资源的承诺
18
当项目需要资源时,保证职能经理被通知到
19
让资源与项目管理计划的安排协调一致
20
管理项目过程
21
引导、辅助、沟通、领导、协商、帮助、指导以推进项目计划的执行
22
在项目执行中运用技术知识
23
在完成工作包需要使用工作授权系统时授予权利
24
举办进度会议
25
收发信息
26
聚焦于事前预防而不是事后处理
27
确保所有的成员具备完成工作所需的技能、信息和设备
28
聚焦于管理批准的项目管理计划的期望,而不是检查每个成员的工作
29
推荐变更及纠正措施并整合在变更管理中
30
遵循组织的政策、过程和程序
31
增加程序的有效性
32
推荐活动以增加组织绩效完成的效率
33
确定项目活动是否遵从过程、政策和程序
34
确保对项目管理计划的一致认同
35
保持每个人都聚焦于项目章程、要求或者产品范围,商业情况和项目管理计划
36
当严重问题出现时重新评估项目的商业情况
37
解决问题
38
实施在规划过程组制定的识别和奖励系统
39
确定原来在规划过程组列入的而在执行过程组中没有用到的项目成员
40
实施品准的改进过程
41
实施在规划时制定的计划或者要求的工作范围
42
要求供应商对采购文件做出回应
43
重新审视投标报价并选择供应商
44
花费并监控项目资金
4、监控过程组
监控过程组核对表
行动
1
依据管理计划测量项目绩效
2
依据绩效测量基准测量绩效
3
确定差异并确定推荐的纠正行为或者变更是否正当
4
确定什么差异是重要的,并不断训练这种判断力
5
推荐变更、缺陷补救、预防和纠正性行动
6
在整合变更控制中批准变更、缺陷补救、预防和纠正性措施
7
使用冲突解决技术使得解决冲突更加便利
8
创建预测
9
管理配置
10
控制范围、进度,成本和质量符合基准
11
使用事件日志
12
不断修正和调整控制限制
13
举办关于控制项目的会议
14
明确导致问题出现的根源
15
推荐项目管理计划的更新
16
客户正式接受可交付成果
17
识别重新计划的必要性
18
关注并管理剩余的时间和成本
19
重新计算项目的成本和工期
20
如果必要的话获得额外的资金
21
开展定时检查
22
做接受或者拒绝工作的决定
23
评估已实施的纠正措施的有效性
24
重新评估项目管理计划的有效性
25
花时间改进质量
26
从干系人那里获得信息以决定是否更新项目控制
27
识别并分析趋势
28
在风险审计中评估风险应对的有效性
29
预测可能新产生的风险
30
重新估计现存的风险
31
使用历程碑作为项目控制的手段和特征
32
观察
33
测量单个项目成员的绩效
34
向所有的干系人报告项目绩效
35
使用差异报告帮助小问题在变得严重前加以改正
36
确定各种完工估算是否正确
37
使用并说明挣值的计算
38
使用质量控制工具——检查、帕累托图表、鱼骨图
39
做关于项目绩效的评价
40
识别与项目管理计划的偏差
41
控制变更
42
保证只实施被批准的变更
43
与变更控制委员会一起工作
44
管理干系人
45
联系行政部门
46
举办状态审查会议
5、收尾过程组
收尾过程组核对表
行动
1
确认项目所有的要求都已经实现了
2
核实并记录项目或项目阶段完成了在规划过程组设置的条件
3
从客户那里获得正式的产品验收许可
4
记录提前终止的原因
5
做好最后付款,完成成本记录
6
收集检验教训
7
更新项目记录
8
保证所有的管理过程都已经完成
9
利用获取的经验教训更新公司过程、程序和模板
10
将成员需要的新技能加入人力资源记录
11
完成采购审计
12
制定收尾程序
13
完成合同收尾和管理收尾
14
分析并记录项目的成功
15
创建并分发最后的项目绩效报告
16
存档项目记录
17
测量客户的满意度
18
把项目的可交付成果提交给运营或维修部门
19
释放资源
20
庆祝
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BI 数据中心 搭建 流程