GOLDENGATE常用参数.docx
- 文档编号:16425561
- 上传时间:2023-07-13
- 格式:DOCX
- 页数:12
- 大小:19.26KB
GOLDENGATE常用参数.docx
《GOLDENGATE常用参数.docx》由会员分享,可在线阅读,更多相关《GOLDENGATE常用参数.docx(12页珍藏版)》请在冰点文库上搜索。
GOLDENGATE常用参数
GOLDENGATE常用参数
概述
所有的GoldenGate进程均有参数文件进程均有参数文件所有的ManagerExtractReplicatUtilities所有参数均有缺省配置实际应用只需对小部分参数进行配置所有参数文件均放在./dirprm目录下目录下缺省通过进程名进行查找.
Manager参数参数
2012年5月11日星期五年月日星期五
MANAGER参数举例
PORT7809DYNAMICPORTLIST7840-7850PURGEOLDEXTRACTS/ggs/dirdat/rt*,USECHECKPOINTSAUTOSTARTER*AUTORESTARTEXTRACT*,WAITMINUTES2,RETRIES5LAGREPORTHOURS1LAGINFOMINUTES3LAGCRITICALMINUTES5
MANAGERParameters–PortManagement
Parameter
AUTOSTART
Description
指定在mgr启动时自动启动那些进程指定在启动时自动启动那些进程.启动时自动启动那些进程
AUTOSTARTER*AUTOSTARTextractextsz
AUTORESTART
指定在mgr可以定时重启那些进程。
可以在网络中可以定时重启那些进程。
指定在可以定时重启那些进程断等故障恢复后自动重起,避免人工干预.断等故障恢复后自动重起,避免人工干预
AUTORESTARTER*,WAITMINUTES5,RETRIES3
DYNAMICPORTLIST
指定GoldenGate可以使用那些端口接受可以使用那些端口接受extract发送指定可以使用那些端口接受发送过来的数据.过来的数据
DYNAMICPORTLIST7840-7850
PORT
制定GoldenGate的mgr进程使用哪个TCP/IP端口侦的制定进程使用哪个端口侦听请求.听请求
PORT7809
MANAGERParameters–EventManagement
Parameter
LAGCRITICAL
Description
指定认为超过此时间即为严重错误的延迟最大值,指定认为超过此时间即为严重错误的延迟最大值,如果延迟达到此时间值则会在ggserr.log里面写入一条里面写入一条error信息此时间值则会在里面写入一条信息
LAGCRITICALMINUTES10
LAGINFO
指定一个延迟时限,如果延迟达到此时间值则会在指定一个延迟时限,如果延迟达到此时间值则会在ggserr.log里面里面写入一条info信息写入一条信息
LAGINFOMINUTES3
LAGREPORTPURGEOLDEXTRACTS
指定在ggserr.log中报告延迟的时间间隔中报告延迟的时间间隔.指定在中报告延迟的时间间隔
LAGREPORTHOURS1
定义自动删除过时的队列以节省硬盘空间。
定义自动删除过时的队列以节省硬盘空间。
一般按照两个规则来删除:
首先,要满足检查点要求,没有使用过的队列不能删除,删除:
首先,要满足检查点要求,没有使用过的队列不能删除,保证无数据丢失;其次,可以保留一定的天数。
保证无数据丢失;其次,可以保留一定的天数。
只有当已经使用过且超过设定的天数后的队列会被自动删除。
过且超过设定的天数后的队列会被自动删除。
purgeoldextracts/backup/goldengate/dirdat/*,usecheckpoints,minkeepdays7
Extract参数概览
抽取进程有以下方面参数:
抽取进程有以下方面参数Checkpoint复制目标LocalSystemMultipleRemoteSystemsOnetomanyGoldenGateTrails数据源WhichTablesWhichRowsandColumnsWhichOperations数据影射和变换
Extract参数文件举例–日志抽取进程参数文件举例
extractextszuseridgoldengate,password*******--REPORTAT01:
59--reportrolloverat02:
00--transmemorydirectory(/backup/goldengate/dirtmp,8G,4G),ram2G,transram500Mtranlogoptionsrawdeviceoffset0--warnlongtrans12h,checkintervals30mexttrail/backup/goldengate/dirdat/szdynamicresolutionnumfiles2000tableexcludetableexcludetableexcludetableexcludetableexcludectais2.TMP_*;ctais2.BAK_*;ctais2.MLOG$_*;ctais2.RUPD$_*;ctais2.KJ_*;
tablectais2.*;
Extract参数文件举例–传输进程参数文件举例
extractdpeszsetenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)passthruREPORTAT01:
59reportrolloverat02:
00transmemorydirectory(/backup/goldengate/dirtmp,8G,4G),ram2G,transram500M--threadoptionsiolatencydelay3000rmthost99.16.1.12,mgrport7809,compressrmttrail/oradata/goldengate/dirdat/szdynamicresolutionnumfiles3000tablectais2.*;
Extract–Table参数参数
Syntax:
TABLE[,WHERE()][,FILTER()][,KEYCOLS()][,COLS()|[,])][,COLSEXCEPT()|[,])][,FETCHCOLS()|[,])][,FETCHCOLSEXCEPT()|[,])][,SQLEXEC][,FETCHBEFOREFILTER][,SQLPREDICATE“WHERE”][,COLMAP()][,,,…];
注意:
的结尾有一个分号。
注意:
TABLE的结尾有一个分号。
的结尾有一个分号
Extract参数
(一)参数(参数
Parameter
CHECKPARAMS
Description
如果加入该参数,表示下次运行只是检查一下语法,如果加入该参数,表示下次运行只是检查一下语法,并不实际运行进程。
运行进程。
注意:
该命令只能检查一些简单语法,注意:
该命令只能检查一些简单语法,并不能保证参数文件是完全正确的。
完全正确的。
注释行,也可以用两个中划线代替代替.注释行,也可以用两个中划线--代替--checkparams表示本行已经被注释掉表示本行已经被注释掉定义抽取进程的名字可以将外部文件的内容包含到本参数文件中来。
可以将外部文件的内容包含到本参数文件中来。
用于将一些可以重复利用的参数文件部分内容隔离出来,便于统一修改。
以重复利用的参数文件部分内容隔离出来,便于统一修改。
Obeytables.txt定义所需要排除的表。
如果在里面定义了使用通配符,定义所需要排除的表。
如果在table里面定义
了使用通配符,那里面定义了使用通配符么可以使用该参数定义排除掉其中的部分表。
么可以使用该参数定义排除掉其中的部分表。
如:
tableexcludectais2.TMP_*;tableexcludectais2.TEMPTAB;
COMMENT
EXTRACTOBEY
TABLEEXCLUDE
Extract参数
(二)参数(参数Parameter
GETUPDATEAFTERS|IGNOREUPDATEAFTERSGETUPDATEBEFORES|IGNOREUPDATEAFTERSGETUPDATES|IGNOREUPDATES
Description
是否在队列中写入后影像,是否在队列中写入后影像,缺省复制
是否在队列中写入前影像,是否在队列中写入前影像,缺省不复制
是否复制update操作,缺省复制操作,是否复制操作
GETDELETES|IGNOREDELETESGETINSERTS|IGNOREINSERTSGETRUNCATES|IGNORETRUNCATES
是否复制delete操作,缺省复制操作,是否复制操作
是否复制insert操作,缺省复制操作,是否复制操作
是否复制truncate操作,缺省不复制.操作,缺省不复制是否复制操作
Extract参数(三)参数(参数
Parameter
RMTHOST
Description
指定目标系统及其GoldenGateManager进程的端口号,也用于进程的端口号,指定目标系统及其进程的端口号定义是否使用压缩进行传输。
定义是否使用压缩进行传输。
rmthost99.16.1.12,mgrport7809,compress
RMTTRAILEXTTRAIL
指定写入到目标端的哪个队列。
指定写入到目标端的哪个队列。
指定写入到本地的哪个队列。
指定写入到本地的哪个队列。
SQLEXECPASSTHRU
运行时首先运行一个sql语句在extract运行时首先运行一个语句。
运行时首先运行一个语句。
sqlexec"Altersessionsetconstraints=deferred"
禁止extract与数据库交互,适用于与数据库交互,适用于DataPump传输进程禁止与数据库交互传输进程(dpeXX)。
)。
针对extract进程设定系统环境变量。
进程设定系统环境变量。
针对进程设定系统环境变量
setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
GETENV|SETENV
Extract参数(四)参数(参数
Parameter
REPORT定义自动定时报告。
定义自动定时报告。
REPORTAT01:
59
Description
STATOPTIONS
定义每次使用stat时统计数字是否需要重置。
时统计数字是否需要重置。
定义每次使用时统计数字是否需要重置
REPORTCOUNT
报告已经处理的纪录条数统计数字。
报告已经处理的纪录条数统计数字。
TLTRACE
打开对于数据库日志的跟踪日志
TRACE/TRACE2
打开对GoldenGate进程的跟踪日志,一般用于调试。
进程的跟踪日志,一般用于调试。
打开对进程的跟踪日志
DISCARDFILE
定义discard文件位置,如果处理中有纪录出错会写入到此文件文件位置,定义文件位置中。
discardfile/oradata/goldengate/repkj.dsc,append,megabytes100m
Extrac参数(五)参数(参数
Parameter
NUMFILES
Description
定义本extract为最大多少
张表预留空间,缺省为500,超过为最大多少张表预留空间,缺省为定义本为最大多少张表预留空间,500张表需要设定一个比实际表数略大的值。
张表需要设定一个比实际表数略大的值。
张表需要设定一个比实际表数略大的值
numfiles3000
PURGEOLDEXTRACTSREPORTROLLOVERTRANSMEMORY
进程,设置。
同mgr进程,可以设置自动删除队列,建议在进程可以设置自动删除队列,建议在mgr设置。
设置设定切换一个日志的时间和间隔。
设定切换一个日志的时间和间隔。
reportrolloverat02:
00
设定GoldenGate的抽取进程能够使用的内存大小。
如下参数的抽取进程能够使用的内存大小。
设定的抽取进程能够使用的内存大小指定本进程最大只能占用2G内存内存,指定本进程最大只能占用内存,其中每个事务最大占用内存不能超过500M,如果超过则使用指定目录作为虚拟内存,存不能超过,如果超过则使用指定目录作为虚拟内存,该目录下的单个文件大小为4G,最多只能在该目录下占用8G该目录下的单个文件大小为,最多只能在该目录下占用空间作为缓存:
空间作为缓存:
transmemorydirectory(/backup/goldengate/dirtmp,8G,4G),ram2G,transram500M
Extrac参数(六)参数(参数
Parameter
DBOPTIONS
Description
指定对于某种特定数据库所需要的特殊参数。
指定对于某种特定数据库所需要的特殊参数。
[SOURCEDB,]USERID,PASSWORD
指定所要登陆的数据库名称,用户名和密码。
对于指定所要登陆的数据库名称,用户名和密码。
对于oracle无需指无需指定sourcedb,直接指定用户名和密码即可。
,直接指定用户名和密码即可。
Useridgoldengate,passwordgoldengate指定在解析数据库日志时所需要的特殊参数。
例如,指定在解析数据库日志时所需要的特殊参数。
例如,对于裸设可能需要加入下列参数:
备,可能需要加入下列参数:
tranlogoptionsrawdeviceoffset0
TRANLOGOPTIONS
WARNLONGTRANS
指定对于超过一定时间的长交易可以在ggserr.log里面写里面写指定对于超过一定时间的长交易可以在入警告信息。
例如,每隔30分钟检查一次长交易分钟检查一次长交易,入警告信息。
例如,每隔分钟检查一次长交易,对于超过12个小时的进行告警个小时的进行告警:
超过个小时的进行告警:
--warnlongtrans12h,checkintervals30m
Replicat参数参数
Replicat参数概览
提供如下方面参数:
提供如下方面参数Checkpoint数据影射关系Optionalrow-levelselectioncriteriaOptionalcolumnmappingfacilitiesOptionaltransformationservicesOptionalStoredProcedureorSQLqueryexecution错误处理机制其它可选参数
Replicat参数举例
replicatre
pszsetenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)useridgoldengate,password*****sqlexec"Altersessionsetconstraints=deferred"REPORTAT01:
59reportrolloverat02:
00--handlecollisionsreperrordefault,discarddiscardfile/oradata/goldengate/dirrpt/repsz.dsc,append,megabytes10--grouptransops100--batchsqlassumetargetdefsallownoopupdatesdynamicresolutionnumfiles3000--mapexcludeCTAIS2.JC_GY_SWWSWH--mapCTAIS2.SHOULIXINXI,targetCTAIS2.SHOULIXINXI,keycols(SHOULIBIANHAO);MAPctais2.*,TARGETctais2.*;
Replicat–MAP参数参数
MAP,TARGET[,EXCEPTIONSONLY][,COLMAP()][,KEYCOLS()][,WHERE()][,FILTER()];注意map语句必须以一个分号结束;语句必须以一个分号结束;注意语句必须以一个分号结束
Replicat命令
(一)命令(命令
Parameter
CHECKPARAMSCOMMENT
Description
检查参数语法然后停止。
检查参数语法然后停止。
注释行。
注释行。
REPLICAT
定义进程名称。
定义进程名称。
replicatrepsz
USERID
指定登陆目标数据库的用户名和密码。
指定登陆目标数据库的用户名和密码。
Useridgoldengate,password123456
OBEY
将外部文件包含到参数文件中。
将外部文件包含到参数文件中。
Replicat命令
(二)命令(命令
Parameter
ASSUMETARGETDEFS
Description
假定两端数据结构一致使用此参数。
假定两端数据结构一致使用此参数。
SOURCEDEFS
假定两端数据结构不一致,使用此参数指定源端的数据假定两端数据结构不一致,结构定义文件。
该文件需要由GoldenGate工具产生。
工具产生。
结构定义文件。
该文件需要由工具产生
MAPEXCLUDE
用于使用在map中使用匹配时排除掉指定的表,类似中使用*匹配时排除掉指定的表用于使用在中使用匹配时排除掉指定的表,于于源端的tablexclude。
于于源端的。
mapexcludeCTAIS2.JC_GY_SWWSWHMAPctais2.*,TARGETctais2.*;
GETDELETES|IGNOREDELETESGETUPDATES/IGNOREUPDATES
是否复制delete操作,缺省为复制。
是否复制操作,缺省为复制。
操作
是否复制update操作,缺省为复制。
操作,缺省为复制。
是否复制操作
Replicat命令(三)命令(命令
Parameter
GETINSERTS|IGNOREINSERTSGETUPDATEAFTERS|IGNOREUPDATEAFTERSGETUPDATEBEFORES|IGNOREUPDATEBEFORES
GETTRUNCATES|IGNORETRUNCATES
Description
是否复制insert操作,缺省为复制。
操作,缺省为复制。
是否复制操作
是否读取后影像,缺省为读取。
是否读取后影像,缺省为读取。
是否读取前影像,缺省为不读取。
是否读取前影像,缺省为不读取。
是否复制truncate操作,缺省为不复制。
操作,缺省为不复制。
是否复制操作
allownoopupdates
允许执行无实际变化的update。
例如,update
a=a会纪录一条。
例如,允许执行无实际变化的会纪录一条update,但是没有后影像,无法正确构筑语句。
,但是没有后影像,无法正确构筑where语句。
语句
Replicat命令(四)命令(命令Parameter
REPERROR
Description
定义出错以后replicat的响应,一般可以定义为两种:
的响应,一般可以定义为两种:
定义出错以后的响应Abend,即一旦出现错误即停止复制,此为缺省配置;,即一旦出现错误即停止复制,此为缺省配置;Discard,出现错误后继续复制,只把错误的数据放到,出现错误后继续复制,discard文件中。
文件中。
文件中
REPERRORDEFAULT,DISCARD
DISCARDFILE
定义出错数据的输出文件。
当数据出现错误后,定义出错数据的输出文件。
当数据出现错误后,可以用于查找错误原因。
以用于查找错误原因。
discardfile/oradata/goldengate/dirrpt/repsz.dsc,append,megabytes10
HANDLECOLLISIONS
自动过滤重复时段的数据冲突,用于不能停机执行初始化。
自动过滤重复时段的数据冲突,用于不能停机执行初始化。
打开该参数后不会将数据错误报到discard文件中。
文件中。
打开该参数后不会将数据错误报到文件中动态解析表的结构,使replicat动态解析表的结构,加快启动速度。
缺省为每动态解析表的结构加快启动速度。
次启动解析所有要复制表的结构。
次启动解析所有要复制表的结构。
调用存储过程或者执行sql语句。
调用存储过程或者执行语句。
可以将返回值作为依据语句进行过滤条件,或者用户改变session变量。
变量。
进行过滤条件,或者用户改变变量
DYNAMICRESOLUTIONSQLEXEC
Replicat命令(五)命令(命令
Parameter
GROUPTRANSOPS
Description
将小的交易合并成为一个大的交易进行提交,将小的交易合并成为一个大的交易进行提交,减少提交次降低系统IO消耗消耗。
数,降低系统消耗。
grouptransops100
MAXTRANSOPSBATCHSQL
DBOPTIONS
将大交易拆分,每若干条纪录提交一次。
将大交易拆分,每若干条纪录提交一次。
maxtransops1000
针对批处理中针对某个表的大批量重复操作进行优化,提针对批处理中针对某个表的大批量重复操作进行优化,高批处理的处理速度。
高批处理的处理速度。
定义与数据库类型相关的特殊处理方式。
定义与数据库类型相关的特殊处理方式。
NUMFILESPURGEOLDEXTRACTS
定义进程中表的最大数据量,定义进程中表的最大数据量,缺省为500.
定义自动删除队列,一般建议在进程配置。
定义自动删除队列,一般建议在mgr进程配置。
进程配置
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- GOLDENGATE 常用 参数