1、银行智能系统规划银行商业智能系统规划初步建议书2005年5月文档版本1.0修订历史日期版本号描述作者2005-5-241.0创建 杨志雄目 录一、引言 51.1编写目的 51.2适用范围 51.3文档概述 51.4术语、定义和缩写 5二、银行建设现状分析 72.1建设现状 72.2存在的问题和需求 72.3商业智能平台建设的可行性分析 8三、商业智能平台总体规划 103.1系统规划的总体目标 103.1.1系统技术深度建设 113.1.2系统应用广度建设 133.2系统总体架构 143.2.1架构说明 15四、系统实现阶段 164.2第一阶段：建立数据中心与数据集市 164.2.1实现目标 1
2、74.2.2主题的确定 174.2.2.1绩效考核系统 184.2.2.2大客户分析 184.3.3主题选择的风险 194.2.4解决方案 194.2.4.1多维分析模型技术OLAP服务器 204.2.4.2前端展现 204.2.5本阶段达到的收益与不足 214.3第二阶段：企业级的商业智能平台 214.3.1实现目标 214.3.2解决方案 224.4第三阶段：数据挖掘与预测 244.4.1实现目标：将信息升华为知识的过程。 244.5阶段总结 26五、系统实施 275.1风险识别与评估 275.2开发方式 275.2.1自上而下 275.2.2自下而上 285.2.3元数据驱动,螺旋上升
3、285.3实施原则 30六、结语 31附录1：每一阶段涉及的软件产品说明 32第一阶段：数据中心与数据集市 32第二阶段：企业级的数据仓库 32第三阶段：数据挖掘 32附录2 效果图 34一、引言1.1编写目的银行商业智能平台规划建议书是通过对银行现有的业务系统和信息管理系统的建设现状等分析，结合同业银行及国外先进银行的优秀管理经验，提出在“数据大集中”的背景下的商业智能平台的蓝图，设计出支持各种业务主题分析，基于先进技术架构的高度可扩展性商业智能平台系统，及其配套的设施架构和开发管理流程，最终逐步地在数据仓库的基础上建立的商业智能平台。1.2适用范围本文档适用于商业智能平台系统规划阶段和建设
4、初期，供商业智能平台项目组人员及管理人员参阅。1.3文档概述本文档介绍了商业智能平台领域的一些概念和关键思想，并描述了商业智能平台项目策略设计、实际商业智能平台项目开发中方法和流程、元数据管理，各种产品功能、特性、案例介绍。1.4术语、定义和缩写BI: Business Intelligence的缩写。DSS:Decision Support System的缩写。ETL：Extract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。DW：Data Warehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的
5、、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。Metadata：元数据。描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。ODS: Operational Data Store：业务数据存储。为信息查询或业务查询提供准实时数据的临时数据库。它在尽可能提供即时数据的同时尽量减小对生产或业务系统的影响。也可用作处理进人数据仓库的数据的工作区。OLTP: On-Line Transation Process的缩写,联机业务处理。OLAP: On-Line Analytical Processing联机分析处理技术。Tiancom:广州
6、天维数码技术有限公司英文名称。二、银行建设现状分析2.1建设现状广东发展银行致力于为社会公众和中国经济发展提供优质金融服务。成立十七年来，始终坚持严格规范，开拓进取，坚定不移地走 “ 特色经营 ” 之路，严格按照现代商业银行的经营管理原则进行规范经营、稳健发展。面对新的竞争与挑战，广东发展银行将继续发扬与时俱进、开拓创新的时代精神，推进各项业务稳健协调发展，努力建设成为管理先进、服务优良、信誉卓著、竞争有力的现代商业银行。总行的各个业务系统都已实现电子化，这为建立商业智能平台奠定了一定的数据基础。2.2存在的问题和需求从建行到现在，随着银行的业务不断拓展，信息化应用的不断深入，因此也会有不少的
7、系统陆续投产。这些系统的投产一方面支持了银行业务和信息化的发展，但另一方面也暴露出一些新的问题，通过对这些系统进行分析，问题主要表现在以下几个方面：1. 大量的业务数据难以充分利用传统的业务系统产生的业务明细数据，虽然包含着大量对决策非常有价值的信息，但由于它们的组织方式是面向业务应用而不是面向管理，从中抽取有价值信息的难度非常大，所花费的代价很高（投入的IT人员和时间）。而且，随着基础业务系统将来不断的改进和扩充，这些数据将逐渐具备如下的特点： 异构的数据结构； 不同的数据库； 分布存放； 备份到各种介质； 数据量极大。这将造成难于全面、综合地掌握和利用在经营过程中得到的信息。2. 基于传统
8、联机业务处理技术的查询系统，开发周期较长；3. 基于传统联机业务处理技术的查询系统，面对分析人员随时发生变化的需求，不够灵活，不能即时地动态生成报表；4. 面对海量数据，基于传统联机业务处理技术的查询系统在执行复杂、大量计算的查询、分析、监控方面将表现出极低的效率；5. 查询系统和基础业务系统相互干扰；6. 多个业务系统，可能导致多个查询系统，使用起来非常不方便；7. 多个查询系统会导致统计口径存在差异，从而引起数据的不一致性，甚至错误数据，可能误导决策；8. 同时从多个查询系统中发掘有价值的数据，需要通过人工的方法汇总加工，这样势必降低时效性和准确性；9. 查询系统不仅在统计和报表方面缺乏灵
9、活和自由，而且缺乏对数据的分析和挖掘功能，不能发现隐藏在数据后面的有价值的信息。10. 查询系统不能够监控和预测风险。传统的联机业务处理业务系统是帮助企业运行业务的，它所能提供的传统报表的模式具有非实时的局限性，而且由于它的静态性和可调整的困难性，极大地限制了业务的发展。综上所述，目前迫切需要搭建一个符合银行特色的商业智能平台，把需要的数据和信息集中起来，统一管理，在此基础上进行多角度、全方位的分析，如绩效考核、大客户分析、经营指标分析、关系营销分析、风险分析等，提升企业的运营能力，增强企业的竞争力；更进一步是对信息灵活地进行深度加工、分析，实现对风险监控、风险预测、决策分析等工作的支持。达到
10、寻找潜在市场、潜在客户和和发掘商机的目的，为银行开拓业务、降低风险提供依据。2.3商业智能平台建设的可行性分析1、银行经过多年业务经营和电子化建设，积累了丰富的历史数据，具备良好的数据基础。2、利用传统的数据库技术，远远不能满足银行经营管理的要求，利用成熟的商业智能技术对现有历史数据进行整合，运用多维分析技术从多角度、多层次对银行数据进行统计和分析，将分析结果以丰富、直观、形象的图形工具进行展现在银行经营者面前，从中发现市场商机，及时调整市场策略，为决策行为提供科学的依据和保障。3、金融市场开放、市场竞争加剧，国内众多商业银行纷纷进行商业智能平台的建设，银行要想在WTO体制下赢得头筹，建立商业
11、智能平台势在必行。通过对国际银行业的信息化建设情况的了解及对我国金融市场的前景分析，我们对银行建立商业智能平台的必要性、可行性、难点、风险、切入点及目标等问题进行了多次研讨后，认为：根据现有的资源以及今后发展的方向，采用分阶段、循序渐进地实施商业智能平台的方式，不仅能够很好地降低和控制风险，而且还能够迅速地使银行在市场竞争中处于领先地位。三、商业智能平台总体规划银行商业智能平台的建设规划，紧紧围绕“整体规划，分段实施，循序渐进”的思想进行。这样的优势在于： 整体规划，可以综合考虑系统的可扩展性，保证信商业智能平台到企业级的平滑过渡，及前端应用由浅及深的充分扩充能力； 分段实施，避免了一次投资金
12、额过大所带来的压力，能够较好地降低和控制风险，并且能够迅速取得系统实际应用上的成功； 循序渐进，保证在商业智能平台上的应用有良好的基础，既能够保护前期的投资，又能够保证在后期的建设中降低风险、缩短时间、节约成本。3.1系统规划的总体目标银行商业智能平台的总体目标是：以现代计算技术、统计技术、人工智能技术和管理技术为核心的现代金融企业经营管理决策支持平台和经营管理作业系统。最终建立银行企业级数据仓库。通过建立商业智能平台系统，辅助全分行在经营方面达到以下目的：1、提高防范和化解经营风险的能力；2、辅助全分行提高经营管理水平；3、增强全分行的市场竞争力；4、更加深入地了解市场的发展规律；5、辅助发
13、现新的利润区；6、优化全分行的资源和管理模式；7、帮助全分行更加稳健地实现经营目标。运用商业智能技术，以银行经营管理为中心，完善银行信息化应用。 图1-1 金融企业网 业务平台通过几年的建设，各个业务系统建设日趋完善，目前覆盖了综合业务系统、信贷管理系统、信用卡系统等各个业务领域并实现了帐务集中处理。 统一的信息平台通过对不同来源系统的数据进行整合，按照数据一致性和完整性的原则，对数据表达不一致的字段进行统一定义，为银行管理层提供一个真正涵盖全部业务的统一视图，从物理和逻辑上满足项目建设要求，实现数据完全共享。 分析平台在商业智能平台的基础上，根据业务部门需要，满足自主查询和在线分析数据的功能
14、。 3.1.1系统技术深度建设在逐步满足业务部门需求的同时，从最迫切的分析主题着手，最终目标是建立银行企业级数据仓库系统（见图3-1）。图3-1商业智能技术的纵向发展5个步骤图第一步 报表、查询、统计（回答“发生了什么”）报表、查询、统计是多年以来IT技术辅助企业管理决策最常用的技术应用模式。商业智能技术首先覆盖这种成熟应用模式的所有功能，让企业管理决策者的思维习惯和应用模式可以平滑地进行过渡，同时必须在报表、查询、统计方面体现出比传统技术和应用更加强大的特点和功能，比如让用户自己去做一些复杂的自定义查询，让企业管理决策者体会到商业智能技术的与众不同。 集成：商业智能平台，把所有异构的企业数据
15、源整合为一个全面、完整、一致、准确的数据中心，并且容纳了所有的历史数据和实时数据，这种集成性能够为企业管理决策者提供全面的经营分析信息。 面向主题：商业智能平台，以企业管理决策者关心的各个问题领域（即面向主题）的方式组织数据，而不同于一般的企业IT运营系统面向企业基本业务流程来组织数据，因此，商业智能平台是更加适合企业经营分析与决策领域的软件技术。第二步 数据分析（回答“为什么发生”）在线分析处理技术(OLAP)，通过业务建模，把原来二维的信息转换为多维的信息，以此为基础，OLAP提供切片功能，即从多角度、多层次、多剖面地观察分析数据的手段，让企业管理决策者能够更加深入地掌握企业的经营状况；同
16、时，OLAP提供钻取功能，即从任一角度自上而下的层层钻取、深入分析到问题源头的功能，反之，也可以自下而上层层汇总信息。OLAP动态、灵活的特征能够从容地面对不确定性的随机分析，并且提供良好的实时性，以及支持大批量用户并发查询；同时，OLAP应用提供友好的交互特性，以及通过图形用户界面（GUI）和语义层直接访问数据仓库的能力。OLAP能够帮企业改善决策的质量和速度。第三步 数据挖掘（回答“未来会怎样发生”）数据挖掘使用诸如神经网络、规则归纳和决策树之类的技术，用来发现数据之间的关系，做出基于数据的推断，这些推断的结论往往隐藏在数据之中，不十分明显，或者过于复杂以致采用一般的统计分析方法难以奏效。
17、数据挖掘用于帮助银行发现经营活动中有关于客户消费行为、市场发展趋势等各种规律，让银行更深入地把握未来环境的动向，协助银行更为积极地制定、实施和管理银行的战略。第四步 运营导向（现场决策）上述第一步到第三步的商业智能都以支持银行内部战略性决策为重点，第四步则重在战术性决策支持。商业智能对战略性决策的支持是为银行长期决策提供必需的信息；战术性决策支持的重点则在银行对外的业务活动，为在业务现场执行银行战略的一线业务人员提供实时的决策支持。随着市场的成熟、竞争的加剧、全球化的挑战，市场细分、个性化服务、以客户为中心的经营思想对银行所提供的服务提出了向精细化转变的挑战，这种挑战让银行的服务活动需要更多的
18、现场实时决策，同时也让银行面临更大的经营风险。商业智能技术能够帮助银行从容面对这种挑战，它为银行的前端运营提供导向功能，使得每项业务最优化，从而整体提高了银行业务的质量，为银行的利润最大化提供了最有力的保障。第五步 运营自动化（自动决策）随着电子商务技术、通讯技术、CallCenter技术、CRM的迅速发展及在银行应用中的普及，产生了各种各样的自动化销售、供应及服务模式，这一模式对银行的经营会随着时间的推移越来越重要，这一复杂的过程在无人介入的情况下自动发生，响应时间以秒或毫秒计。面对这种客户与银行IT系统的互动，银行需要十分个性化的客户关系优化决策过程，为了寻求决策的有效性和连续性，银行可以
19、选择自动决策。随着技术的进步，越来越多的决策由事件触发，然后自动发生，商业智能技术允许用户采用事件触发和复杂决策支持功能，以最佳方案逐个产品、逐个机构作出决策。在 CRM 环境中，利用商业智能技术，可以根据每一位客户的情况做出个性化的决策。从第一步到第五步的建设过程，是商业智能技术从支持战略决策到支持战术决策的拓展，是从为银行局部提供信息和决策支持到为整个银行提供信息和决策支持的拓展，第四步和第五步商业智能的运营导向和自动决策，是第一至第三步开发的银行战略能够得以执行的保证。它是一个逐渐演变的过程，每个阶段都面向不同的用途，我们不能从第一步直接跨进第五步，当商业智能平台发展到具有战略决策支持功
20、能时，必然会提出战术决策的更高要求。不过，这都依赖于一个高扩展性、高性能、高可用性、先进的商业智能解决方案。3.1.2系统应用广度建设商业智能平台广度的建设，体现在基于成熟业务的初级企业商业智能应用，过渡到包括企业所有数据源的中级商业智能应用，最终实现完整企业商业智能应用（见图3-2）。图3-2 整体框架结构图3.2系统总体架构商业智能平台的建立，与实现目标和架构是分不开的。设计的银行商业智能平台体系的总体架构如下图所示。图3-2 银行商业智能平台总体架构图3.2.1架构说明1、采用先进技术手段，提取银行现有的各类业务数据和以后的追加数据，如传统业务、国际结算业务、信用卡系统及其它外部数据源中
21、的数据，对数据进行整理、清洗、加工、转换，搭建一个具有统一规范的、可扩展的商业智能平台框架，实现银行所有业务数据集中存储和管理。2、根据需求建立面向部门和主题的数据集市，同时可以把一些预聚集数据存放在OLAP服务器中，利用灵活的前端分析展示工具，对数据进行分析和处理，形成市场经营和决策工作所需要的科学、准确、及时的业务信息和知识。3、体系的各个应用都是建立在元数据层之上，由统一的元数据驱动，真正实现元数据管理。4、建立信息门户，让用户通过统一的入口、个性化的Web浏览器界面，访问需要的信息。四、系统实现阶段商业智能平台的实施本身是一个循环往复、螺旋上升的过程。根据银行需求的迫切性、投资的低风险
22、性，同时考虑技术实现的可行性、再利用性及可扩展性，及兼顾到银行发展过程中不断涌现出的新的需求，为保证实施效果最优化，我们将整体目标分成四个阶段来实现，这四个阶段满足的目标及涉及的技术如下：第一阶段：建立数据中心与数据集市1、 满足的目标实现了绩效考核系统及大客户分析等主题，支持用户自主组合查询、制定报表及分析。2、 涉及的技术掌握前端展现方法，运用多维分析技术，完成数据映射过程，实现数据的统一管理。第二阶段：企业级的商业智能平台1、 满足的目标逐步实现其他业务主题的分析，建立统一的信息门户。2、 涉及的技术掌握业务模板的设计方法，完成企业级数据仓库建设。第三阶段：数据挖掘与预测1、满足的目标
23、实现各项业务的风险预测，辅助管理层进行决策。2、涉及的技术 掌握数据挖掘技术。每个阶段需要运用不同的技术，同时在业务上不同的阶段也有不同的需求，商业智能平台是一个循序渐进的过程，必须遵循整体规划，分段实施，循序渐进的原则作为系统建设成功的保证。4.2第一阶段：建立数据中心与数据集市通过数据抽取逐步积累原始数据的基础，并在此基础上建立、完善数据中心，采用商业智能技术，搭建部门级的业务主题应用建立数据集市，运用数学模型，通过灵活的前端展现完成第一阶段建设。4.2.1实现目标1、基于前端展现功能，分行可以自主、灵活、便捷的访问所需数据；2、构建统一的数据中心，逐步实现全分行数据的统一管理；3、选择实
24、现1-2个迫切的业务分析主题，将与该业务主题相关的数据进行标准化统一设计，实现灵活多样的报表展现和分析，满足组合查询、OLAP分析和领导信息查询的要求。 图4-2 第一阶段完成后的架构图EIS：领导信息查询系统OLAP：联机在线分析4.2.2主题的确定遵循投资低、见效快、实施风险小、迫切性高的原则，建议以绩效考核系统和大客户分析系统为主题，着手建立银行的数据分析集市。选取这两个主题的原因主要是考虑到数据的可靠性和完整性，经营数据和大客户资料大部分基于总账、分户帐以及客户基本信息等，这些数据经过多年系统积累，已经相对完善与丰富，从而降低实施风险。4.2.2.1绩效考核系统1、绩效考核的迫切性需求
25、（1）内部需求高层领导依然无法及时获得全分行的各项经营指标，难以对全辖的经营情况进行全面的了解，也无法对各下属机构关键经营指标进行分析，从而给银行的经营带来很大的风险。（2）外部要求人民银行及银监会等金融机构需要银行定期或不定期的报送各种报表，因为数据分散在各个系统中，耗费大量的人力和时间才能够满足这些报表的要求。2、绩效考核系统的功能1、统计报表功能2、常规报表查询与打印分发3、即席查询和自定义报表4、资产负债、损益指标及趋势分析5、费用指标分析及监控6、单项指标查询7、存、贷款查询分析8、机构业绩查询9、高级领导信息系统功能10、用户权限管理11、手工录入功能4.2.2.2大客户分析1、大
26、客户分析的需求（1）如何找出银行最大利润的创造者20%的优质客户往往能给银行创造80%的利润，各银行都在采用各种手段“挖”竞争对手的优质客户，如何在银行众多的客户里，找出优质客户，是银行经营管理者急需解决的问题。（2）运用差异化的销售策略留住优质客户其实，发展一个新客户的成本往往是留住一个老客户的5倍，通过对优质客户群体的行为分析、忠诚度分析、构成分类进行分析，采取差异化的销售策略，提供个性化的金融产品及服务，在留住优质客户的同时，增加银行的利润增长点。（3）从大客户分析着手，逐步实现全分行的客户关系管理从大客户分析开始来进行银行的客户关系管理建设，对银行来说，投资小、见效快。因为大客户资料相
27、对比较完整，客户经理的信息采集工作量小，开发周期短，把有限的资源放在为银行带来最大利润的客户群上，从而以较小投入带来最大的回报。在条件成熟时，实现全分行的客户关系管理。2、大客户分析的功能1、大客户资料档案管理2、大客户界定3、大客户查询4、大客户报表5、大客户分析1）大客户贡献度分析2）大客户群金融产品结构分析3）大客户构成分类分析4）大客户资料组合分类分析4.3.3主题选择的风险 尽管从以上的原则上选择了经营指标分析及大客户分析主题，但在实际建设过程中还存在以下风险：1、信息量不够 大部分数据相对完整，但还需要补充一部分数据，如果数据的补充、更新不及时，会降低业务主题分析的准确性，从而影响
28、用户对系统的信赖与使用，造成项目建成后用户使用的积极性不高。2、业务规则、流程改变频繁 各业务系统规则、流程频繁发生改变，未能及时传递给智能平台，有可能导致数据抽取错误，从而影响了分析结果。3、高层领导与用户的参与与配合高层领导及用户的积极参与与配合，对于系统开发及系统投产后的推广应用起到关键性作用。4.2.4解决方案 通过以下两种技术应用实现第一阶段的目标。4.2.4.1多维分析模型技术OLAP服务器OLAP 服务器是企业用于作报告、分析、作模型和计划应用的策略平台。它能支持多用户的读写访问，大规模的数据容量，强健的分析计算和复杂的OLAP查询。能在以网络为中心的计算环境中提供直观的多维数据
29、探询和连续快速反应的时间。它还能支持这些主要操作系统，例如Windows NT,UNIX和AS/400,并且能和多个客户服务器以及Web环境下的报告、分析、应用开发工具集成。具体应满足以下功能：1、分析能力2、直观的数据探询3、丰富的数据模型4、复杂的OLAP计算5、强健的分析能力6、复杂的OLAP查询7、属性分析8、时间智能9、财务智能10、连接的报告对象11、多用户读写访问12、对查询的快速反应13、多线程的结构 14、灵活的计算15、完备的安全性16、支持众多前端工具4.2.4.2前端展现系统对用户应提供方便的图形化应用工具，除前面提到多维分析工具外，还包括报表及查询工具等。考虑到应用环
30、境的多样性，前端展现应用应支持Client/Server、Browser/Server以及Excel等多种应用环境以及以下功能。1、强大灵活的报表2、强大的交互式分析和灵活的钻取功能3、分析应用开发强大的信息发布功能4、客户端零管理5、支持多种数据源6、为最终用户设计7、信息门户集成的、统一的信息视图4.2.5本阶段达到的收益与不足收益：本阶段通过在数据中心，进行部门级主题分析的建设，达到了分行领导及时、准确的获取分行及下属机构所有汇总经营数据及明细数据的关键指标，为领导了解全分行的经营情况有一个很好的帮助，同时，解决了目前市场竞争中留住大客户、发展优质客户的关键性问题，给银行带来更大的效益。
31、不足：数据中心建立以后，满足了全分行大部分业务数据的集中，还不能实现面向主题的、集成化的、稳定的、随时间变化的所有数据集合，用以支持管理决策，同时需要采用企业信息门户达到所有用户的集中管理、协同工作、及个性化设计。4.3第二阶段：企业级的商业智能平台4.3.1实现目标1、构建数据仓库全面建立各业务主题分析，如下表2、搭建企业信息门户利润分析关系营销分析风险分析资产负债管理业务运作性能渠道利润分析客户生命期价值客户利润分析不同地区利润分析机构利润分析机构网点绩效网点评估产品分析利润分析产品利润分析交易分析市场策划分析交叉销售分析客户流失分析客户行为分析客户投诉分析客户欠款分析客户沟通分析客户忠诚度分析个人客户信息销售商机分析市场分析投资行为分析授信权限分析信用风险分析
