产品白皮书之一DataStage.docx
- 文档编号:12775082
- 上传时间:2023-06-08
- 格式:DOCX
- 页数:18
- 大小:47.43KB
产品白皮书之一DataStage.docx
《产品白皮书之一DataStage.docx》由会员分享,可在线阅读,更多相关《产品白皮书之一DataStage.docx(18页珍藏版)》请在冰点文库上搜索。
产品白皮书之一DataStage
1.1
先进的开发和维护.
1.2
完整的开发环境.…
1.3
企业级实施和管理.
1.4
高扩展的体系架构.
DataStage企业版白皮书之一
1.绪论
1.5端对端的企业级元数据管理
2.附录A:
DataStage企业版内嵌的扩展Stage
3.附录B:
扩展连接
1.绪论
DataStage企业版是IBM公司所有企业整合系列产品中关键产品。
企业版支持大容量数据的收集、整合和转换,数据从简单结构到很复杂的结构。
基于高可扩展性的软件架购,企业版使得企业能够通过高性能来解决大部分业务问题,并行处理大容量数据。
强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。
DataStage企业版发布了四个核心功能来成功实施企业数据整合:
先进的开发和维护;完整的开发环境;企业级实施和管理;高扩展的体系架构;端对端的企业级元数据管理。
1.1先进的开发和维护
DataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。
DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用,减少了数据整合应用的开发和维护周期。
结果,DataStage企业版使得企业能够花更少的时间开发他们的整合应用,
更多的时间是不断的从中受益。
DataStage企业版使用了
Client-server架构,如下所示。
图一、DataState企业版Client-Server架构
用户通过各个客户端工具访问
DataStage企业版的开发、配置和维护功能。
这些工具包括:
制作业的执行,其他作业成功完成(或失败,等)的条件
Administrator:
用来执行管理任务,如建立DataStage用户、建立和删除工程并且建立清洗
标准。
Manager:
用来编辑管理用户工程的DataStage资料库
Director:
用来验证、时序安排、运行和监测企业版作业
Unix、Windows等。
如图一所示,DataSage企业版的服务器组件运行在一系列的流行服务器上,如
1.2完整的开发环境
用户使用DataStage企业版的Designer组件建立企业版数据整合应用。
企业版设计是基于数据流的概念。
数据流使得用户非常容易建立和理解应用。
用户在一个强大的图形化调色板上通过一系列的功能组件(Stage)标示数据集合的流程来构建一个数据整合应用。
一个完整的数据流图(DataStage作业),从一个永久存储的数据源开始,并且执行一系列的增值转换和其他处理操作,最后加载数据到一个永久的存储。
但是,企业版Designer开始使用户可以灵活从任何地方可以建立作业:
从上到下、从下到上、从中间开始。
一个完整的企业版数据流图如图二所示。
图二、DataStage企业版数据流图示在建立一个企业版数据流图表时,通过一系列的处理步骤对庞大的数据集合构架顺序流。
用户不需要担心如何在多处理器计算机上运行该应用。
企业版对数据整合应用工作流的顺序描述和在生产环境中应用的并行执行做了一个清晰的区分。
企业版处理数据集(dataset)。
数据集就是对通过数据流程的记录的收集。
一个数据集可以是屋里放置在磁盘上,也可以是虚拟放置在内存中。
数据在数据流中的Stage中移动使用的是虚拟的数据集,这样可以大大提高性能;分区(在后面介绍)是在Stage的属性中设置的。
企业版提供了多个内嵌的Stage来执行通用的数据整合任务,如Sort、Merge、join、filter、Transform
和Aggregate。
更完整的内嵌Stage列表参考本文档的AppendixA。
每个企业版Stage是一个完整的功能组件,已经在多处理器系统中高吞吐量和高性能并行执行过。
这些Stage根除了为通常的数据处理应用进行编码的需要。
用户可以在企业版DesignerGUI中找到这些内嵌的Stage。
用户可以使用Stage的下拉菜单来这只Stage的参数。
企业版AggregatorStage的编辑器如下所示。
图三、企业版编辑AggregatorStage图标和Stage编辑器例子
企业版TransformerStage是一个强大和灵活的组件,允许用户对inputlink输入的数据进行转换。
并且将数据传到另一个活动的Stage或者将数据写到目标数据或文件。
Transformer编辑器(如下所示)使得用户可以在inputlink和outputlink间简单建立mapping,并且可以使用BASIC等语言建立任意转换。
这
些转换可以并行执行来提高吞吐量和性能。
企业版提供了超过100个内嵌的功能,另外可以用C或C++编写
的route在转换中使用和进行互操作。
图四、企业版TransformerStage图标和Stage编辑器例子
DataStage企业版内嵌的Stage包括高性能访问(加载和读)关系型数据库的强大组件,包括并行的关系型数据库。
例如,企业版的OracleStage提供了一个访问Oracle表的高性能并行接口。
OracleStage支持Load和Upsert写方式和支持表和查询的读方式。
企业版也可以利用DB2强大的数据库分区特性和Teradata
的高性能、并行数据加载和导出。
另外,DataStage企业版提供了一些Stage可以使得SAS用户在大容量数据上执行SASParallelSASData
SetStage通过SASStage的连接从一个并行的SAS数据集中读取和写入数据。
通过利用并行硬件执行平台
和并行关系型数据库,这些SASStage能够将大大增强需要进行处理和分析大数据量的SAS的吞吐量和性能。
企业版的内嵌扩展Stage提供了数据整合应用中80%到90%的最常用的逻辑需要。
另外,企业版提供了
许多机制用来建立自定义的Stage:
Wrapped--允许并行执行一个顺序程序。
Build允许自动并行执行自定义Stage的C语言表达式。
Custom提供了完整的C++API,来开发复杂和扩展的Stage。
基于组件架构和扩展内嵌组件类库的DataStage企业版消除了对传统编码方式的需要,最大化了组件的重复使用。
对于可扩展的数据整合应用来说,企业版开放的和可扩展的架构使得整合第三方软件工具和已存在的程序更加容易。
Stage和作业的单独分区,包括每一个Stage的联合分区、元数据(表定义)和Transformer转换定义,可以在共享容器(ShareContainer)中被其他用户重复使用。
共享容器允许用户提高产品性和在用户和工程间共享。
作业模板(JobTemplate)进一步提升了效率。
用户能够比以前更快地启用已定义好的模板。
同时,标准化的模板也提供给用户一个高效的起始点。
智能帮助提供建造从简单到复杂的作业。
用户通过一系列的询问,智能帮助可以象魔术师一样输出一个DataStage企业版作业或作业序列。
他们使用元数据智能提示用户答案和输出最后的结果。
Ascential载入一些智能助手,一个建立纬度缓慢变化(SlowChangingDimension)的星型架构(StarSchema)的数据库(类型1、2、3支持)。
1.3企业级实施和管理
许多大的公司都有他们自己在复杂生产环境下的配置、时间序列、监测和管理应用的标准。
DataStage企业版提供了灵活功能来迎合这些需要。
首先,DataStage提供了一个图形化的作业顺序器(JobSequencer),允许用户定义作业执行的序列。
设计一个作业序列就象设计一个作业。
用户在DataStage中设计作业序列。
从工具条增加一个Activities(相对于Stage),并且通过Trigger进行连接用以定义控制流。
每个activity都有属性,可以在trigger表达式中测试并且传到序列前面的其他的activity中。
Activity也可以有参数,可以用来支持job参数或routine
参数。
Job序列可以有自己的属性和参数,这些属性和参数可以顺序传到activity中。
序列也可以包括控制
信息,例如,序列中job的成功或失败影响活动的走向。
一旦job序列被定义完成,可以在任何提供的接口(下面做详细的介绍)中建立时间顺序和执行。
图五、DataStageJob序列例子
其次,企业版提供了Director和Manager的图形化功能。
象前面说过的,manager是用来管理工程的,包括导入和导出组件,用来将应用配置到产品。
Director用来建立时序,执行和监测job(或job序列)。
另外,企业版提供了command-line、API和webservices用来对应用进行配置、执行、监测和管理。
Job能够使用所有的工具进行开始、停止和监测。
可以提供所有的工具查看Job监测的详细内容-包括
Director。
企业版返回的信息包括每个并行分区的记录条数、CPU使用率、开始/结束时间等。
所有的这些都是在单
独的stage级别。
这个命令行接口是:
dsjob-eport
reporttype=BASIC,DETAIL,XML
可通过XMLschema和XMLstylesheets对正在运行的job进行不同角度的查看。
就算job已经完成,这些信息仍然是可用的。
这就是operationalmetadata。
Commandline和webservice接口通过文本或XML方式返回出这些operationalmetadata。
对于国际数据的需要,DataStage企业版可以处理和管理multi-byte的数据结构。
客户端相应(如属性设置和表定义)可以使用用户本地的语言。
用户可以根据国际校正规则建立客户化的排序规则
1.4高扩展的体系架构
建立在高扩展软件架构上的企业版提供了高级别的吞吐量和性能。
象前面所描述的,用户可以使用企业版的Designer工具建立简单的顺序数据流图表。
当构架出顺序的数据流图表,用户不用担心底层的硬件架构和处理器的数量。
一个专门的配置文件可以定义这些底层多处理器计算环境中的资源(处理器、内存、磁盘)。
这个配置可以在顺序数据流图表和应用的并行执行之间建立一个清晰的分离。
这样就可以很简单开发扩展的数据整合系统并且并行执行(如图六所示)。
DataStage企业版可在管道并行和分区并行的机制下执行,这样可以获得高吞吐量和性能:
数据管道(DataPipelining)意味着应用可以从源系统拉入数据并且在数据流图表中定义的顺序处理功能间移动。
记录通过管道进行流动-使用上面介绍过的数据集(DataSet)【虚拟】-这样使得记录通过一系列的功能组件进行流动而不需要将记录加载到磁盘。
数据分区(DataPartitioning)是一种将记录集分割到各个分区,或记录子集的并行方法。
数据分区通常提供了一种好的、可以线性增长的应用性能。
企业版支持记录集通过应用流的自动分区,象DB2一样使用hash、range、entire、random、roundrobin等方法。
这个benchmark是在写数据(每条记录平均534byte、50多个字段)之前进行了15此的不同的转换。
图8以1:
1的比例显示出处理器导致近乎线性的性能扩展。
AscentialSoftware可以提供充详细及验证过
的性能benchmark报告。
1.5端对端的企业级元数据管理
MetaData整合是数据整合基础架构的黏合剂,是维护一致性、解释清晰和正确的关键。
DataStage企业版的端对端元数据在数据整合生命周期中可供所有的工具中共享,确保有关元数据可以勾画出一个清晰、明确的业务视图。
DataStage企业版元数据管理通过提供一致、正确的元数据来帮助用户管理数据中有用的部分。
这样就可以减少在多工具中共享元数据时候存储和更新元数据目录的负担。
通过DataStage企业版的元数据分析和管理功能确保整个商务智能架构中整合和业务规则的重复使用变得简单,而不需要传统编码方式。
DataStage企业版不像竞争对手,因为对ETL工具的偏执,而使得整个整合处理不能得到一个完整的元数据视图。
DataStage企业版通过提供独特的元数据共享功能而不仅仅在ETL工具中具有,避免了不同方法定义间的混淆和冲突,这样就使得用户可以在建模工具、ETL工具和最终用户报表工具中获得最完整的语义层。
确保没用的或冗余的元数据被排除掉,使得业务管理者通过常用的方法理解数据,作出严谨的决策。
Cross-tool冲突分析,使你可以方位变化是如何影响down-stream报表的。
数据继承mapping确保你总是可
以回答这样的问题:
“这些数据是从那里来的”,这个功能贯穿整个整合生命周期处理-这是IBM特有的。
这样大大增强了开发者和基础原则经常改变中的业务分析的产品性。
MetaDataIntegration
DataStage提供了最大化的元数据整合,并且在大多数流行的数据建模、数据整合和商业智能工具和标准中共享。
细节上的共享使用户可以充分利用贯穿整个企业的“端到端”元数据整合。
Cross-toolimpactanalysis
在DataStage企业版中可以执行深层次分析快速访问变化对一个数据仓库的影响,返回到操作数据存储,
返回到分段数据库,所有的路径都返回到可以被指定的原始的数据源和数据建模工具(如ALLFusionERWin数据建模工具)。
这些呈现的功能对于数据结构改变而不破坏严格的downstream报表是非常必要的。
Datalineage
使用元数据管理图形展示,DataStage企业版给最终用户一个完全的数据历史,这样就可以判断是如何影响数据分析的。
简单说,datalineage回答的是“数据从那里来”。
QueryBuilder
这个工具使简单导航变得更简单和过滤掉以在线文档格式或内嵌在impactanalysis模板中的查询。
这个查询工具消除对写SQL才能产生岀结果的需要。
MetaDataSharingandreuse
DataStage企业版使用了“publishandsubscribe”机制从一系列的数据源发布标准的元数据。
用户可以一次性或recurringbasis预定元数据发布。
当元数据改变时,会自动通知预定者。
MetaDataDelivery
DataStage企业版允许通过报表和XML或HTML格式的查询结果对元数据进行动态的、面向批处理的和
XSL-T的客户化发布。
使hyper-link终端用户的访问和导航变得更加容易。
这些可以自动发布到任何Web
Site和门户。
当远端服务器透明地报告操作结果给DataStage企业版,作为一种特有的优势的时候,DataStage企业版元数据管理工具可以很有效率地收集到数据整合环境中发生的事件。
管理者能够回顾作业并且预先识别瓶颈和处理中的错误。
结果:
更少的资源冲突和减少通过检查每个字段或执行状态报告来发现问题的时间。
业务用户现在可以使用熟悉的工具去直接查询他们的业务和技术元数据。
在直接的管理控制菜单下,管理员可以演示一个新的可用的通用数据主题域视图模型,以数据库结构中的一组正则化的关系表作为MetaStage的字典。
这将使得业务用户可以构建交叉冲突工具分析和在目标数据仓库、源系统表、商业智能工具、OLAPCUBE和Entity/OO模型工具中直接发现业务定义、名称、描述、表定义和Cube纬度。
工具综述:
CognosImpromptu,PowerPlay
BusinessObjects
HyperionEssbaseIntegrationServerMicroStrategy
IBMDB2CubeViews
ODBC
DataStage
ProfileStageQualityStage
EmbarcaderoER/Studio
OracleDesigner
CAAllFusionERwinDataModeler
CognosImpromptu,PowerPowerDesignerSilverRun*viaUML
RationalRose*viaUMLOMGUMLClassDiagrams
InformaticaPowerCenter
SAPBW
OMGCWM
InformationBuilders'WebFOCUS
2.附录A:
DataStage企业版内嵌的扩展Stage
Stage
描述
Transformer
对任何需要转换的输入的数据集合进行转换,并将数据传
输到其他活动的Stage中或一个将数据与入数据库或文件
的Stage
Sort
用来并行执行更复杂的排序操作
Merge
将一个或多个排序的更新数据集合合并成一个排序的主数据集合
Join
在一个或多个输入数据集合上执行连接操作并输出一个
结果数据集,连接操作支持:
Inner、LeftOuter、RightOuter和FullOuter
ExternalFilter
允许指定一个作为处理数据过滤器的Unix命令行:
Aggregator
对于单一的输入数据记录进行分组并且计算每一组的合计和总计
MakeVector
组合输入数据记录中指定的字段到一个具有相同类型的字段矢量
MakeSubrecord
组合指定的输入数据集合中的矢量到子记录的矢量,它的
字段具有和原始矢量相同的名字和类型
SplitVector
提升固定长度矢量的参数到一系列相似的命名顶级字段
CombineRecords
组合那些主键字段值被指定的记录到子记录矢量—
Compare
对两个分拣输入数据集合中的记录进行一个字段一个字段的检查
Lookup
对包含在LookupFileSetStage中的查找表进行查找操作
LookupFileSet
允许建立一个查找文件集或查找参考
Funnel
拷贝多个输入数据集到一个输出数据集;对于将分开的数
据集合合并成一个大的数据集;支持持续的读、排序、顺序输入数据集。
Copy
拷贝一个输入数据集到多个输出数据集;输入数据集中的每一条记录拷贝到每一个输入的数据集中,而且不需要修改
Sample
使用百分比或一段模式对输入的数据集进行取样
Peek
将记录字段值显示到作业日志或分开的outputlink,就象
CopyStage将输入的数据集拷贝到一个或多个输岀数据集
RemoveDuplicates
对输入的数据集进行单一排序,删除重复的记录,并将结果写入一个输出的数据集
Modify
改变输入字段定义到输出数据集(如类型转换或null处理/
转换等);对于重新命名和类型转换使非常有效率的
Filter
基于用户指疋的约束(where子句)将输入数据集转
换到不同的输出数据集(Link)。
对于过滤记录使非常有效率的。
Switch
根据选择器字段的值,将一个输入记录分配到一个输出的
Link,支持128个OutputLink和1个RejectLink。
ChangeCapture
抓取两个输入数据集,表现为前和后,并且获取后面的数据路输出一个记录表现已经改变的数据集
ChangeApply
抓取变化数据,包括前面或后面数据记录变化,从Change
CaptureStage并应用编码改变操作到前面数据集,计算一个后面数据集
Head
从一个输入数据集合分区中选择第一个N条记录并且将选
择的记录拷贝的输出数据集中
Tail
从一个输入数据集分区中选择最后一个N条记录并且将选
择的记录拷贝的输出数据集中
WriteRangeMap
将数据写入RangeMap;抓取排序或排序产生的数据集合,并写入到一个文件用于范围分区方法
Encode
使用支持的Unix编码命令对一个数据集合进行编码;将一
个顺序数据集合转换到没有处理过的二进制数据流
Decode
使用支持的Unix解码命令对一个数据集合进行解码;将一
个没有处理过的二进制数据流转换到数据集合
Compress
使用UnixCompress或GZIP工具压缩数据集合;将一个顺序数据集合转换到没有处理过的二进制数据流
Expand
使用UnixUncompress或GZIP工具展开数据集合;将一
个没有处理过的二进制数据流转换预先压缩的数据集合
到一个数许数据集合
Differenee
对两个输入的数据集合进行逐条的对比,相同数据集合的
不同转换产生岀前面和后面的数据集合
ColumnImport
从一个字段导入数据并且输出到一个或多个字段
ColumnExport
从多个不同类型的字段导出数据到一个字符类型或二进制类型的字段
ColumnGenerator
增加字段到输入数据并且为处理的数据行字段产生假数据;输出新的数据集合
RowGenerator
产生一组适合指疋表疋义的假数据;对于不使用真头可用
数据对作业进行测试非常有用
DataSet
从一个数据集读取数据或将数据写入一个数据集;企业版
隐藏了复杂的处理和在并行计算机上并行存储数据到磁
盘
FileSet
从一个文件中读取数据或将数据写入文件;并行执行
SequentialFile
从一个FlatFile读取数据或将数据写入FlatFile;通常是并
行执行和可以配置成顺序执行
ExternalSource
从一个或多个源程序读取数据
ExternalTarget
将数据写入一个或多个目标程序「
ParallelSASDataSet
从并行SAS数据集合读取数据或将数据写入并行SAS
数据集合;用于同SASstage进行连接
SAS
用于并行执行部分SAS应用
DB2
IBMDB2UDB访问
从DB2数据库读取数据或将数据写入DB2数据
库
顺序执行或并行执行
支持DB2的Hash分区
支持Write、Upsert和Load的写方法
支持表、自动产生SQL和用户定义SQL读方法
Orac
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 产品 白皮书 之一 DataStage