金融机构信息化架构总体规划设计方案.docx
- 文档编号:10656950
- 上传时间:2023-05-27
- 格式:DOCX
- 页数:27
- 大小:1.43MB
金融机构信息化架构总体规划设计方案.docx
《金融机构信息化架构总体规划设计方案.docx》由会员分享,可在线阅读,更多相关《金融机构信息化架构总体规划设计方案.docx(27页珍藏版)》请在冰点文库上搜索。
金融机构信息化架构总体规划设计方案
1[金融信息
回[宓薛平台
智慧XXX管理分析类应用建设现状基本分析
1mb
1
•集团已建立面向整个XXX业务的数据仓库,整合了前台业务运营数据和后
台管理数据■建立了
1:
1
向XXX的管理
分析应用;
•XXX大数据已开展供应链XXX、人人
贷和保理等多种业务,积累了一走量
的业务数据,同时业务人员也从客户
管理、风险评级和经营规模预测等方
面■提出了大量分析预测需求;
存在的问题
关瀚内容
•集团数据仓库累积数据没有充分利用
•缺乏面向整个XXX大数据的统一、主整的数据视图;
•缺乏支撑XXX大数据日常业务运转的
风险评估体系
•缺乏XXX大数据客户360度视图■客
户行为分析和预测无法实现;
•缺乏面向XXX业务运营管理的关键绩
效指标体系;
数据平台.数据应用.数据管控……
数据平台整体架构;
数据平台各层建设的标准;较成熟的XXX业数据模型;数据质量治理;
元数据管理;
数据标准建设
数据整合;
数据应用建设;
数据平台的软硬环境
通过数据平台和BI应用建设zXXX大数据将搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测及分析,为集团各层次用户提供统一的决策分析支持,提升数据共享与流转能力
2倪冷他竝创斬XXX大数据业务人员可以基于明细、可信的数据,进行多维分析和数据挖掘,为
促直业曲颇XXX业务创新(客户服务创新、产品创新等)创造了有利条件
金融«1^息体嘯
13[金融她信息化演般线包[平台
外部用户
数据管控层
哋12-I准「鬣质量一一元鬣一一鬣安全
囊调度层
IT人员
流程调度
监控告警
数询套K
内咅艮用户
二数询
内部管理分析
业务沙盘演练
客户管理
财务管理
风险管理
……1
大数据区
二二二二二Q二二二二二应用集市数据区
沙盘演练数据区
数据增
值产品
増值产
品数据区
用户访
数据应
用层
待处理大数据
社交媒体用户评价移动互联访问日志
二二二处
大艷交换组件
SQUj-小—子
企业内外部半结构化、m国吉构化数据
处理后大数据
客户主题
协'议主题
产品主题
■•••••
零售数据
供应链数据
客户汇总
主题数据区
贴源数据区
二二二二二二二二二盘
二二二二二二二仓
数据库数据交换组彳牛
数据区数据交换组件
数据交换平台
数据
产生层
源数据内容
•内部业务系统产生的结构化数据
•集团日常零售业努处理过程中产生的结构化数据,存储在关系型数据库中,如:
供应商信息、采购信息、商品信息、销售流水……
XXX大数据日常业务处理过程中产生的结构化数据,存储在关系型数据库中,如:
客户信息、账户信息、XXX产品信息、交易流水
•企业内部非结构化数据
日常业务处理过程中产生的非结构化数据,存储形式多样,主要包括用户访问日志、用户投诉、用户点评……
•企业外部数据
企业外部数据以非结构化为主,主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息
源数据増量
•在本次项目实施中将采用以増量为主、全量为辅结合的方式获取源数据•集团和XXX大数据业务系统的数据
•:
・増量数据识别、获取由云数据推送平台负责,云数据推送平台采用分析.对比源系统日志方式实现
对于无法通过上述方式获取增量的源系统数据,则采用某一个时间范国内的全部数据作为増量
•:
・初始数据加载均采用全量模式
传输组件是根据数据源存储的不同分类而设计的,本质是通过分析数据存储结构和数据存储
库的特点来针对性的设计工具,以追求卓越的性能
数据交换层设计目标
数据服务层
/\
7\
保证数据在平台内高速流转:
I
数据区数据交数据库数据交大数据交换组换组件
换组件
I
:
保证数据交换过程中不失真
I
:
保证数据交换过程中不丢失
NAS存储
Hadoop元数据
数据平台导入
II融区
数据平台导出临时区
ET匿序区
A
云数据推送平台
保删据交融程安全可靠:
I
集团系统
XXX大数据系统
外部
大数
据
◎存储数据平台各个Hadoop集群的元数据信息z如:
HDFS文件系统元数据
'集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据z暂存在NAS临时数据区
。
XXX数据平台加工计算结果返回给业务系统,暂存在NAS临时数据区
目数据平台ETL加工处理程序(数据压缩、数据加载、各数据数据处理等)统一存储在NAS集甜旨定目录,各接口服务器通过文件系统Link建立映射
SFTP/J2EE
+
HDFS命令行
+
Mapredurce
处理对象
实现功能
实现技术
应用场景
•企业内咅阳E结构化•半结构化数据,如:
音频、视频.
由附:
.Office文档■抵押品扫描件等•企业外咅阳E结构化
■半结构化数据,如:
微博、贴吧、论坛、用户点击流、用户移动位置等
•组件以实时和批量两种模式实现下列功能:
・:
•数据采集
数据传输到数据交换平台(接口服务器)NAS指定目录
存储数据到数据平台
大数据区指定HDFS
•批量采集:
大数据源以SFTP协议批量传输数据文件
•在线访问:
开发Java或C应用#调用大据源API,或
以网络平台爬虫方
武抓取源系统非结
构化.半结构化数
•走时抽取用户访问日志,加载到数据平台大数据区HDFS指走目录,MR程序加工处理
扫描用户微博,
抓取用户微博内容
”社交
or?
zxui_w
Microsoft*
SQLServer
IVIjSCU
・mongoDB
处理对象I
I实现功能I
I实现技术I
■■
I应用场景
■
•企业内部业务系统产
•组件以实时和批量模
Perl程序
•云数据推送平台连接
生的结构化数据,包括两大来源:
集团零售业务数据,数据存储在Oracle.
SQLServer^MySQL和MongoDB四类数据库
・:
・XXX大数据互联网
XXX业努数据,数据
存储在MySQL数据库
武实现下列功能:
・:
・数据采集,轮询NAS集
文件(LZO压缩)
・:
・数据核查r对数据文件进行质量校验
・>数据加载,加载数据到临时数据区
•数据采集,调用
Perl文件模块相关函数,轮询指定目录,获取数据文件
❖数据核查,Perl执行文件级数据质量检查
・:
•数据加载,调用
HiveLoad数据命令,加载到数据平台临时数据区的Hive
供应链XXX系统数据库,分析供应链XXXMySQL数据库日志,识别増量数据,存储到XXX平台NAS存储的指定目录,XXX平台加载数据文件到数据平台临时区Hive表
Table
逐台
』融
Sqoop
S3
+
HDFS命令行
Sqoop
处理对象
实现功能
实现技术
应用场景
数据平台计算层各
数据区
贴源数据区
•:
・主题数据区
・:
・集市数据区
沙盘数据区
大数据区
•:
•归档数据区
•组件以批量方式实现下列数据交换功能:
住贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区
・主题数据区、贴源数据区、集市数据区到沙盘数据区
•Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换
•Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换
•数据集市的数据按
照据生命周期规划
■统_将过期数据
归档到历史数据归
档区
批帛数据处理工作流
•批量数据处理由流程调度层部署的自
ims
文件$区(NAS集群)
数嬰件
HDFS舊
文
文atsas
文
临屠据区
贴».!
KW合
理
(HiveSQL)基mag:
8娠
质ift®
文文本湘
关键词提
取
链扌斑取
链接合并
爭董生成
定义开发WorkFlow组件调度运行
ami区
•整个流程主要完成如下工作:
1.获取业努系统结构化数据,存
lis
取
HDFS蠶
大数稷
语音识SIJ
过滤/排序
转换
:
TOL'度&1S®检核
11專骨
Am数据交涣
:
调度
astralI
I度检核
日志背
确调度
引毎
流程调度服务
鲫眼务权限©11
配蜀/命名管理
MBSEZ□
侦3!
牖
够执
«j«31侦3!
牖
曲执
元数据眼务
元msov导岀
化
日志&审核跟踪
图例
入临时数据区
2.获取企业内外部非结构化数据
并逬行结构化处理,存入主
题或集市数据区
3.按照贴源数据模型整合数据(
标准化.数据更新/追加)
4.按照主题数据模型整合数据并
生成汇总
5.
数据加工计算后,结果交付到
数据集市,支持分析类应用
实时数据处理工作流
L
I
非81
J由取
;换:
流:
程
;调LS
i执行)
/
侦测器
—IS例
■Ml沥系统
|Hadoop数娼区
理
贴源数堀禦&
IQ
流程调度服箔
加載
—|ETL处理流程
数据库数掲区
数
is
区
元数1囲艮务
元碧碍菅理—元数堀导入/导出
通用月资务
扌又限管理数据归档
酉己宜/命名皆理
通知提曜
t办周套理
流程优化
曰志鯛
加亍枪査的ETL4诵
]|加亍数搦处理的ETL任务
•实时数据处理强调的是实时或准实时获取并处理数据,通常采取消息队列等技术构建“数据流"
•整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行
•整个流程主要完成如下工作:
1.通过数据库数据交换组件获取増量数据,加载到实时数据区
2.通过大数据交换组件获取非结构化
数据,并利用Storm处理数据,加
载到实时数据区
3•针对实时数据区数据执行标准化处
理和贴源整合
通用服劳
权限管理数据归挡
配酋/命名E•监控
诵知捉as
讹
曰志&用
流程调度服务
转换
加载
元月咙八元如訓>兀^导:
归档数据处理工作流
归档
(数堀区
句;
国交换细件)
Copyfromlocal(HDFS)
数据酒理
归档
披纽件
Distcp(HDFS)MapReduce
淸理
UM
Distcp(HDFS)MapReduce
哋淸理
归档
如区数据交换組件)
Distcp(HDFS)MapReduceISf?
清理
归档
(数IE区数is交换剧牛)
Sqoop(Hadoop)
数据炸外沐表技术
数堀淸理
||源系统ETL处理流裡
Hadoop^tX■数据库数据区
;•越隊総醪
执行质最检查的ETL任労
贴源瞥区主i区
大篦需倉
数据归档的对象包括业努系统数据文件■贴源数据区数据.主题数据区数据.大数据区数据和集市数据区数据
数据按照生命周期规划存储到归档区Hadoop集群,归档后原数据区删除此数据
整个处理流程由流程调度层部署的自定义开发
WorkFIow组件调度运行
整个流程主要完成如下工作:
:
L
淸洗)•
抽取Zb
过滤/排序
2.
3.
数据文件通过HDFS命令行copyfromlocal逬行归档贴源.主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档集市数据区通过Sqo。
p或数据库提供的Hadoop集成技术(如:
外部表)执行归档Page16
应用集市数据区
沙盘演练数据区
数据内容
主要用途
数据模型
保留周期
用户
访问模式
工作负载
平台要求
历史区
待处理大数据
大数据区
社交媒体
移动互联
访问日志
处理后大数据
客户汇总
账户住
・■・■•・
喜户牛题
协议代
产品菽
・・・・•・
零售娠供应
主题数据区
贴源数据区
临时勦居区贴源期居区
「「铸麺丽碩赣慕m祜戴萌顾瀬匸丽丽赫融:
;•缓存数据>支持后续ELT数据处理:
:
•数据标准化•为后续主题模型.集市和沙盘演练提供数据
:
:
;:
•
:
■贴源数据模型i:
•贴源数据模型i
:
•保右最近7天数据■:
•不棟存历也
:
;;r
I•贴源数据区和主题数据区批量作业访问!
:
•主题数据区.集市数据区和沙盘演练数据区批量作业访问:
:
•无最终用户访问:
:
•无最终用户访问
:
I;:
!
•I/O敏感,连续小批量的数据抽取和加载!
:
•I/。
敏感・日终批量ETL_:
:
•少量量数据使用Hive的Load命令■大量数据使用MR程序•:
•以ELTJg式谨过HiveSQL执行:
|:
:
I
!
•与主题区屈源区/集市区构成一个Hadoop集群(Hive):
:
•与主题区狈占源区/集市区构成一个Hadoop集群(Hive)1
;•无单点故障,774^时+非工作日有限停机:
!
•无单点故障,7X24/J'时+非工作日有限停机Pagfc17
数据内容
主要用途
数据模型
保留周期
用户
访问模式
工作负载
平台要求
应用集市数据区
客户W®
财务W®
风险W3
大数据区
沙盘演练数据区
増值产
品数据区
待处理大数据
社交媒体
移动互联
访问日志
大数据区
处理后大数据
客户汇总
账户住
・■・■•・
喜户牛题
协议代
产品菽
・・・・•・
零售娠供应
•企业内外部非结构化.半结构化数据
•采集并存储数据,迸行结构化处理,最终得到结构化数据
•数据按照HDFS文件存储
•建议保留1年
•集市区妙盘区/t曾值产品区/主题区/归档区批量作业访问•少量高级业努人员进行大数据分析
•MapReduce分布式计算•半方E结构化数据的结构化处理
(包括文本检索.语义分词.圏像识别.音频识别等)
•与主题区用占源区构成_(Hadoop集1
•无单点故障「7x24/4时+非工作日有限僖机
:
(HDFS)
主题数据区
贴源数据区
历史归档数据区
■:
•其他各数据区历史数据;
:
:
•按数据生命周期规划归档平台过期数据,支撑历史数据查询:
:
;:
:
!
•数据按照HDFS文件存储:
:
:
•数据文件按照数据区划分目录,建议保留7年
:
!
-!
:
:
•集市区妙盘区/増值产品区/主题区隔时效区批量作业访问i
:
:
•业努人员执行历史数据查询
!
;:
:
:
•MapReduce分布式计算.HDFS命令实现Hadoop集群内i
•:
归档,Sqoop实现数据库归档rii过Hiv魄供历史查询
!
;;
:
:
•独立的Hadoop集群(HDFS+Hive):
:
:
•无单点故障,7x24/4时+非工作日有限停机Pagfc18
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 金融机构 信息化 架构 总体规划 设计方案
![提示](https://static.bingdoc.com/images/bang_tan.gif)