银行信息技术标准数据领域数据接口与传输EDW对外数据转发文件规范试行.docx
- 文档编号:11527060
- 上传时间:2023-06-01
- 格式:DOCX
- 页数:7
- 大小:18.68KB
银行信息技术标准数据领域数据接口与传输EDW对外数据转发文件规范试行.docx
《银行信息技术标准数据领域数据接口与传输EDW对外数据转发文件规范试行.docx》由会员分享,可在线阅读,更多相关《银行信息技术标准数据领域数据接口与传输EDW对外数据转发文件规范试行.docx(7页珍藏版)》请在冰点文库上搜索。
银行信息技术标准数据领域数据接口与传输EDW对外数据转发文件规范试行
银行信息技术标准
TS/DAT-FT-002-2019
数据领域
数据接口与传输
EDW对外数据转发文件规范
(试行)
修订记录
修订日期
主要修订内容描述
修订者
审阅者
审阅日期
2019-03-19
完成初稿翻写
于克干
2012-09-10
依据审阅和征求的意见进行修订
于克干
1前言
1.1目标
为了规范EDW系统对外提供的数据转发文件流程,统一EDW系统对外提供的数据转发文件的命名、存放位置、保存周期,减小独立于平台之外的分析应用系统以及业务系统与EDW系统之间的相互影响,由总行信息科技部制定了本规范。
1.2用途
本规范用于指导向独立于平台之外的分析应用系统以及业务系统提供数据文件接口的工作。
1.3阅读对象
本规范的阅读对象是我行数据领域相关的技术及管理人员。
1.4内容简介
本规范主要包括1章内容对数据转发文件进行具体约定,分别对转发相关方责任、数据转发文件编码规则、转发文件设计以及文件目录及维护等作了描述。
1.5编制背景
本规范起草单位:
科技部、数据部、运维中心、研发部。
本规范主要起草人:
于克干等。
2适用范围
本规范适用于全行。
本规范适用于对外数据转发文件工作。
本规范适用于我行所有在建及已上线的生产系统。
3规范性引用文件
4术语及定义
规范中专有名词以及缩略语的中英文解释定义。
术语
定义
总行
银行
EDW项目
银行基础数据平台项目
源系统
提供数据的各业务系统
转发规范
DW系统与独立于平台之外的分析应用系统以及业务系统数据转发文件规范
独立系统
独立于基础数据平台之外的分析应用系统以及业务系统
5数据转发文件具体约定
5.1转发相关方责任
1.源数据提供方的责任
⏹保证提供转发方案规定的数据内容,并在指定的时间范围内完成数据的生成;
⏹保障数据文件的准确性和即时性;
⏹保障数据文件存放到指定的目录。
2.数据转发方的责任
⏹每日根据数据接收方所需要的转发数据在指定的时间范围内进行整理和压缩;
⏹保证数据准确性与一致性;
⏹保障转发文件存放到指定目录中;
⏹数据转发文件在指定目录中只保留最近一周。
3.数据接收方的责任
⏹保证对数据转发文件的及时获得、处理
5.2数据转发文件编码规则
4.提供数据源系统(可随应用扩充)
编号
目标系统名称
目标系统简称
1
市场风险系统供数
su
5.目标系统分类代码(可随应用扩充)
编号
目标系统名称
目标系统简称
1
管理会计系统
sap
2
资产负债管理系统
alm
3
信贷风险管理系统
cm
6.数据转发文件命名规则
数据转发单元的命名规则如下:
文件类型
文件名格式
备注
转发数据文件
数据增全量标志_源系统简称_业务含义简称(或具体的数据表名称)_数据日期_000_000.dat。
名称全部采用小写英文字母。
其中增全量标志为:
i—增量
a—全量
例如:
i_su_pa_20060601_000_000.dat
转发数据压缩打包文件
目标系统简称_数据日期.tar
包含压缩后的转发数据文件,文件名为转发数据文件.Z,
打包文件名例如:
sp_20060601.tar
转发就绪文件
目标系统简称_数据日期.ok
例如:
sp_20060601.ok
7.文件命名说明
⏹文件名称中的要素取值
∙目标系统简称
见2.2编码规则。
∙数据日期
数据日期是描述当前抽取周期中,数据的发生日期(如:
20031201,则表示抽取的数据是2003年12月1日的快照)。
按日抽取的数据文件,其数据日期就是数据的发生日期;(对数据日期有特殊要求的转发数据,将在其“数据要求”中详细描述)。
∙业务含义简称
能够反映抽取数据业务含义的英文简称,可由双方具体约定。
⏹所有的文件名称中用到的字母均需小写。
5.3转发文件设计
8.设计原则
在满足要求的前提下,为了使应用转发尽量简单、明了,并便于实现,EDW系统与各个目标系统的数据交换采用文本文件方式,文件格式采用ASCII码格式。
为了保证转发数据的一致性,避免各类数据类型和格式错误,在形成所传输的ASCII格式文件之前,将数据转成本转发方案所规定的数据类型和格式。
5.4转发文件格式
9.转发数据文件
转发数据文件的格式请参见下文中对各转发单元的具体描述。
转发数据文件均按本方案要求的数据内容,描述及顺序,以变长方式记录数据,分割符采用“|+|”,数据内容中不能包含分割符或0x0D0A(回车换行符)。
若数据中存在分割符或回车换行符,则转换成空格。
如果当前周期没有数据提供,应生成空的转发数据文件与转发就绪文件到CEB_EDW系统。
10.转发就绪文件
转发就绪文件由源数据提供方负责,用于标识每一个传输周期内提供的转发文件准备就绪,数据采用文本格式,就绪文件为空文件。
5.5文件目录及维护
11.环境说明
设备名
Ip地址
开发环境
10.1.18.106
生产环境
10.1.8.221
12.文件目录的划分
EDW系统ETL服务器:
目录编号
目录名称
存放内容
说明
各个业务系统权限
①
./xchdata/YYYYMMDD/目标系统简称
转发文件
生成的各个业务系统上报的转发文件
读
说明:
1)ETL服务器上的工作目录如上表所示。
表格中的目录名称均为相对目录,其上级目录是:
${HOME};
2)./xchdata/YYYYMMDD/目标系统简称:
这里的YYYYMMDD是指业务数据日期,目标系统简称参见2.2.1节列表。
13.文件目录的维护
文件目录主要有源数据目录和转发数据目录,源数据目录里面存放源系统提供的业务相关数据,转发数据目录存放转发文件。
所有目录有数据转发方维护。
⏹源数据提供方相关操作:
✓将源数据定时存放到源数据目录里面
⏹源数据转发方目录的相关操作:
✓生成的转发文件存放到转发数据目录中;
✓负责目录的创建和权限管理;
✓负责处理超过存储期限的文件。
⏹目标系统对目录的操作及维护:
✓通过FTP方式访问和作业。
6附录
7参考文献
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 银行 信息技术 标准 数据 领域 接口 传输 EDW 对外 转发 文件 规范 试行