1、ERP系统日常维护操作手册ERP系统日常维护操作手册（修订版）中国移动通信集团公司1 概述 51.1 目的 51.2 MIS系统架构 51.3 MIS系统日常维护所涉及内容 61.4 本手册适用范围 62 自动运行的作业 72.1 应用中自动运行的请求 72.2 UNIX主机定时运行的程序 73 日常的周期性维护工作 93.1 日常的周期性维护工作流程 93.2 系统每日维护检查工作列表 103.2.1 MIS系统管理员负责部分 103.2.2 数据库管理员负责部分 113.2.3 主机系统管理员负责部分 113.2.4 网络管理员负责部分 123.3 系统每周维护检查工作列表 133.3.1
2、 MIS系统管理员负责部分 133.3.2 数据库管理员负责部分 133.3.3 主机系统管理员负责部分 143.3.4 网络管理员负责部分 153.4 系统月度维护检查工作列表 153.4.1 MIS系统管理员负责部分 153.4.2 数据库管理员负责部分 163.4.3 主机系统管理员负责部分 173.4.4 网络管理员负责部分 173.5 系统年度维护检查工作列表 183.5.1 MIS系统管理员负责部分 183.5.2 数据库管理员负责部分 183.5.3 主机系统管理员负责部分 183.5.4 网络管理员负责部分 194 故障处理流程 195 非周期性维护服务（突发需求） 205.1
3、 数据库备份 205.2 数据库恢复 215.3 系统补丁（Patch）的应用 225.4 对于特定数据的稽查请求 236 附录A ：命名规则 256.1 根据环境的用途不同，环境的命名遵从下面规则： 256.2 31省集团本部简称对照表 256.3 命名组成 267 附录B：数据库性能分析SQL脚本 277.1 最耗时的请求（TOP 10） 277.2 运行最多的请求（TOP 10） 288 附录C：数据库指标说明 298.1 空闲表空间 298.2 表和索引的扩展数量 318.3 数据库的非法对象 328.4 用户的临时表空间 348.5 检查索引碎片 358.6 数据表空间碎块 358.
4、7 检查库缓冲命中率 358.8 检查数据库数据缓冲命中率 368.9 排序 368.10 查找占用IO最多的SQL（TOP 10） 368.11 查找占用CPU最多的SQL (TOP 10) 379 附录D：维护工作记录表 389.1 每日维护工作记录表 389.2 每周维护工作记录表 479.3 月度维护工作记录表 609.4 年度维护工作记录表 619.5 系统备份处理记录表 629.6 系统恢复处理记录表 629.7 稽查活动记录表 629.8 补丁记录表 6210 附录E：备份与恢复的策略 6410.1 备份对象分类 6410.2 交易量的影响 6610.3 备份介质分类 6610.
5、4 冷备份的步骤 6610.5 历史数据的保存建议： 6810.6 备份日志与报告 6810.7 故障与恢复 6811 附录F：日常维护常见问题与解答 7011.1 MIS应用系统问题 7011.1.1 物料查询性能问题 7011.1.2 环境登陆问题 7111.1.3 预警问题 7111.1.4 过帐堵塞问题 7111.1.5 输出文件乱码问题 7211.1.6 并发请求中文定制问题 7211.1.7 审批接收问题 7211.1.8 查询性能问题 7311.1.9 workflow mail问题 7311.1.10 员工层次结构问题 7311.1.11 发票缺省币种问题 7411.1.12
6、请购单乱码问题 7411.1.13 图形编辑器的问题 7511.1.14 并发管理器问题 7511.1.15 预警标题字符乱码 7511.2 主机问题 7611.2.1 备份失败的问题 7611.2.2 主机宕掉的问题 7611.2.3 磁带库故障 7611.2.4 磁带库Driver的问题 7711.2.5 IBM平台性能监控问题 7711.2.6 数据库无法连接问题 7811.2.7 磁带库driver问题 7911.2.8 DDS4磁带机备份的问题 7911.2.9 硬盘失败的问题 7911.2.10 CPU利用率问题 7911.3 数据库问题 8011.3.1 归档日志问题 8011.
7、3.2 备份不成功的问题 8011.3.3 登陆口令问题 8011.3.4 分配序列问题 8311.3.5 表空间问题 8311.3.6 过帐问题 8411.3.7 回滚段问题 8411.3.8 数据库Export的问题 8511.3.9 数据库快照（snapshot）的问题 8511.3.10 数据库process数目问题 8511.4 网络问题 8511.4.1 网络安全的问题 8511.4.2 生产环境连接问题 861 概述1.1 目的本手册是中国移动MIS系统维护管理规定（暂行）运行维护管理部分的补充。1.2 MIS系统架构MIS系统是中国移动集团公司信息化工程的重要组成部分。它包括M
8、IS-财务系统、MIS-人力资源系统、MIS-综合统计系统。MIS系统架构如下：MIS生产系统所包含的设备： 磁盘阵列 APPLICATION服务器 DATABASE 服务器 CLUSTER SERVER 综合统计服务器。 接口服务器。1.3 MIS系统日常维护所涉及内容中国移动集团公司中央支持组、省公司MIS维护组提供对MIS系统全面的技术支持服务。主要的服务包括： 网络连接监控服务监控MIS系统的支撑网络的运行情况。 机房设施管理服务提供MIS系统的整个机房设施的管理和维护，包括机房供电，操作中心的温度，湿度。 日常维护服务日常维护服务包括MIS系统日常所需要执行的应用监控、备份/恢复、数
9、据库监控、故障检测，服务申请等。日常维护是由专职或兼职的系统管理操作员（MIS系统管理员、数据库管理员、主机系统管理员）提供7x12x52（7天/周、12小时/日、52周/年）的服务。 系统管理提供服务器的支持和维护服务。系统管理功能包括容量规划，安全管理，硬件和软件变更管理。 灾难恢复/备份对于MIS系统的灾难恢复计划，目前建议采用定时备份生产系统，备份介质同时存储于本地和异地的方法。 1.4 本手册适用范围本手册主要是描述MIS维护组织为MIS系统提供的日常维护服务部分，以及相应的处理方法和处理流程。所涉及的内容包括： 自动运行的作业 日常的周期性维护工作（每天、每周、月度、年度） 故障处
10、理流程 非周期性维护服务（突发需求）参与执行与管理该项工作的人员将包括MIS系统维护主管、MIS系统管理员、数据库管理员、主机系统管理员、网络管理员。2 自动运行的作业为减小系统管理人员的工作量，避免人为操作可能造成失误，通过Oracle Application和Unix操作系统的定时功能，可以将一些不需要人工干预的程序定义为定期运行。2.1 应用中自动运行的请求序号工作内容频率时间持续时间备注1清除过时的工作流运行时数据1/周周六晚22：0015分钟定时删除过时的工作流数据有助于提高工作流处理的性能，定时方式见（注1）2清除并发请求和(或)管理器数据1/周周六晚22：101030分钟定期清除
11、并发的请求有助于提高并发管理器运行的效率和查询请求的速度。定时方式见（注1）3运行统计数据收集模式1/周周日晚22：100.51小时定时方式见（注1），注释见（注2）4运行总帐优化程序1/周周六晚23：101030分钟定期运行总帐优化程序有助于提高整个总帐模块运行的效率，定时方式见（注1）5定期预警计划员1/天0：001030分钟系统管理员检查是否定期运行，如果没有定期运行，需要设置为定期运行。6维护安全性清单1/天0：001030分钟系统管理员检查是否定期运行，如果没有定期运行，则提醒HR超级用户。（注3）7CMCC HR定期更新分配中物流人员标识1/天0：001030分钟系统管理员检查是否
12、定期运行，如果没有定期运行，则提醒HR超级用户。（注3）8定时更新员工工龄记录1/月每月第一天0:001030分钟系统管理员检查是否定期运行，如果没有定期运行，则提醒HR超级用户。（注3）9程序-优化程序1/周周五晚22：101030分钟优化总账模块的数据及程序。注1： 需要在应用中定期自动运行的请求，可以通过Oracle Application的计划功能进行定义。注2： Oracle Application11.5.10使用的是9i的数据库，缺省情况下SQL执行的计划是基于成本的 (CBO)，因此，在数据库中的数据量发生较大变化后，应及时运行“运行统计数据收集模式”，收集数据的变化信息，使数
13、据库针对不同的数据量，均可以采用正确的执行计划。注3：这些请求基本上是由HRMS管理员职责定制的，考虑到大部分系统管理员没有HRMS管理员职责，因此只是由系统管理员定期检查，然后通知并协助超级用户完成设置。2.2 UNIX主机定时运行的程序序号工作内容频率时间持续时间备注1备份归档日志和报表输出文件1/日周一周六凌晨1点0.51小时备份数据库归档日志，和应用报表输出文件，定时方式见（注4）2每周数据0级冷备份1/月每周日凌晨1点1小时只备份数据库，定时方式见（注4）3每月数据0级冷备份1/月每月财务月结之后的第一个周日凌晨1点23小时备份应用数据库，定时方式见（注4）4每年数据0级冷备份1/年
14、每年财务年结之后的第一个周日凌晨1点23小时备份应用数据库，定时方式见（注4）5系统CPU利用率，内存利用率，IO利用率，页面交换量的监控1/日每日早8：00凌晨0：0016小时定时方式见（注4），说明见（注5）注4： 通过UNIX系统的crontab实现在指定时间运行UNIX脚本程序（备份和UNIX系统监控）。注5： IBM主机可使用NMON，SUN主机可使用top每隔15分钟对UNIX系统进行一次采样，采样信息包括CPU利用率，内存利用率，IO利用率，页面交换量，采样持续16个小时，当天的系统监控的结果可以通过EMAIL自动发送给系统管理员。 为了对系统运行情况进行详细的分析，可以将每次采
15、样的数据导入数据库，在积累了一段时间的采样数据后，可以分析出每天的业务高峰时段，每个月的高峰日期等，为合理使用系统资源和估算系统容量提供可靠的数据依据，采样数据应保留1年。 CPU利用率：如果系统CPU利用率持续高于80%超过15分钟，则需要管理员查看主机是否有异常进程消耗了大量CPU时间。 内存利用率：如果系统内存利用率持续高于80%超过15分钟，则需要管理员查看主机是否有异常进程消耗了大量内存资源。 IO利用率：指IO子系统的读写速率，不需要对其设置监控的阈值。 页面交换量：指系统每秒交换入/出页面的速率，不需要对其设置监控的阈值。3 日常的周期性维护工作本章总结了系统管理操作员（MIS系
16、统管理员，数据库管理员，主机系统管理员、网络管理员）日常维护工作的流程和具体需要完成的工作纪录表。系统管理操作员应至少按照中国移动通信MIS维护管理规定（暂行）中附件五“MIS系统设备日常检查表”做好日常检查，并根据实际情况做好下面的详细检查。同时所有的系统管理操作员在做日常维护工作时，应按照附录D的格式填写好相应的每日、每周、月度、年度维护工作记录表。3.1 日常的周期性维护工作流程 系统每日维护检查系统管理操作员按照第3.2节中完成每日检查工作 是否有故障如果有故障或异常情况，则需要先执行故障处理流程（参见第4章） 是否有突发服务如果有突发服务请求，则需要先执行非周期性维护服务（突发需求处
17、理）流程（参见第5章） 是否是周一如果当天是周一，则需要先执行系统每周维护工作（参见第3.3节） 是否是每月第一个工作日如果当天是当月第一个工作日，则需要先执行系统每月维护工作（参见第3.4节） 是否是财务年结之后第一个工作日如果当天是财务年结之后第一个工作日，则需要先执行系统每年维护工作（参见第3.5节）填写维护工作记录表（参见第9章附录D维护工作记录表）3.2 系统每日维护检查工作列表3.2.1 MIS系统管理员负责部分序号工作内容频率时间持续时间备注1检查并发管理器运行状态1/日上午15分钟登录应用系统，进入并发管理器管理，检查管理器的实际数目和目标数目是否一致2检查运行出错的请求1/日
18、上午510分钟登录应用系统查找运行状态为错误的请求，并查找原因3检查正在运行的请求中，是否有时间过长的请求1/日上午15分钟超过1小时应为异常4检查FORM服务运行状态1/日上午15分钟（注5）5检查WEB服务运行状态1/日上午15分钟（注6）6检查REPORT服务运行状态1/日上午15分钟（注7）7检查REPORT REVIEWER AGENT服务运行状态1/日上午15分钟（注8）8检查TCF服务运行状态1/日上午15分钟查看菜单的树型结构9检查DISCOVERER服务运行状态1/日上午15分钟（注9）总计每日上午1560分钟注5： 判断Form服务是否正常，首先在应用主机Form Serv
19、er的进程应该存在，（进程ps -ef |grep applprd |grep f60srvm），其次，可以通过登录系统的方法进行检测。注6： 判断Apache服务是否正常，首先在应用主机Apache的进程应该存在，（进程ps -ef|grep applprd|grep Apache|grep http），其次，可以通过在首页访问帮助的方式进行检测。注7： 判断Report服务是否正常，首先在数据库主机Report Server的进程应该存在，（进程ps -ef |grep applprd |grep REP60），其次，在系统中提交报表的请求，应该可以正常运行。注8： 判断Report Re
20、viewer Agent是否正常，首先在数据库主机Report Reviewer Agent的进程应该存在，（进程ps -ef |grep applprd |grep tns），其次，可以登录到应用系统查看请求的输出进行检验。注9： 判断Discover服务是否正常，首先在应用主机Discover的服务进程应该存在，（进程ps -ef |grep applprd |grep dis），其次，可以通过Discoverer Plus和Discoverer Viewer检查Discoverer的报表是否可以正常打开。3.2.2 数据库管理员负责部分序号工作内容频率时间持续时间备注1检查备份日志1/日
21、上午15分钟检查前一天备份的日志2查看数据库告警日志1/日上午510分钟查找bdump/alert_.log中是否有告警，查看日志中是否有ORA-XXXXX的告警。3检查正在使用的模块是否有20%以上可用空闲表空间1/日上午15分钟在系统使用过程中，对表空间可用率不足20%应尽快进行处理，查找系统表空间的脚本参见8.1节“空闲表空间”4检查是否有表或索引已接近其可以使用的最多扩展的数量。1/日上午15分钟对于表或索引的可用扩展数量与最大可用扩展数量差小于5时，应该尽快进行处理，表和索引的检查脚本可参考8.2节“表和索引的扩展数量”总计每日上午1030分钟3.2.3 主机系统管理员负责部分 序号
22、工作内容频率时间持续时间备注1检查文件系统利用率日志1/日上午15分钟使用df k进行检查是否有文件系统利用率高于85%并且可用空间小于500M2查看系统硬件软件告警日志1/日上午15分钟IBM主机使用errpt进行检查是否有硬件错误和告警，SUN主机查看/var/adm/messages3检查是否有僵死或运行时间过长的进程1/日上午110分钟使用ps ef 进行检查（运行时间超过12小时的绝大部分是有问题的进程）4检查系统运行日志（系统CPU利用率，内存利用率，IO利用率，页面交换量的监控）1/日上午510分钟IBM主机查看NMON的输出文件，并使用分析工具制作报表。Sun主机查看top的输
23、出，并使用分析工具制作报表。5检查系统高可用性（HA）的使用状态1/日上午5-10分钟检查集群软件日志文件的使用总计每日上午1340分钟3.2.4 网络管理员负责部分序号工作内容频率时间持续时间备注1检查网络连接情况1/日上午15分钟注112检查网络硬件（路由器，交换机，防火墙）的运行状态1/日上午15分钟3检查网络系统安全日志，搜索是否有攻击行为1/日上午15分钟注12总计每天上午3-15分钟注11：各省网络系统管理员需要通过网络监控软件或者系统命令来检查各省公司到地市和到集团公司的网络连接情况。注12： 网络系统安全日志需要定期检测。3.3 系统每周维护检查工作列表3.3.1 MIS系统管
24、理员负责部分序号工作内容频率时间持续时间备注1检查系统定期请求运行结果1/周 周一上午15分钟（注13）2汇总本周最耗时的10请求1/周 周一上午510分钟获取TOP 10耗时的请求可以参见7.1节“最耗时的请求（TOP 10）”3汇总本周提交最多的10个请求1/周 周一上午510分钟获取TOP 10提交最多的请求可以参见7.2节“最耗时的请求（TOP 10）”总计周一上午1125分钟注13： 登录到Oracle Application查看下面的4个定期运行的请求是否成功清除过时的工作流运行时数据清除并发请求和(或)管理器数据运行统计数据收集模式运行总帐优化程序3.3.2 数据库管理员负责部分
25、序号工作内容频率时间持续时间备注1检查系统无效对象并编译1/周 周一上午110分钟对系统无效对象的处理请参考8.3节“数据库的非法对象”2检查是否有表或索引设置增长的百分比或下一次的扩展的尺寸过大1/周 周一上午15分钟查找数据库表或索引增量TOP 10，根据表或索引实际的增长速率调整其增量大小3检查是否某表空间内对象的下一次扩展的总和超过目前表空间的最大可用尺寸1/周 周一上午15分钟查找是否表空间内对象的下一次扩展的总和超过目前表空间的最大可用尺寸4检查是否有数据库用户使用非TEMPORARY类型表空间作为临时表空间。1/周 周一上午15分钟运行SQL查询是否有用户使用非TEMPORARY
26、类型表空间作为临时表空间，SQL脚本可参见8.4节“用户的临时表空间”5检查是否有表或索引碎片过多需要优化1/周 周一上午1030分钟可参考8.5节“检查索引碎片”进行碎块的检测和整理6检查空闲表空间是否碎块过多需要优化1/周 周一上午1030分钟可使用alter tablespace coalesce对碎块较多的空闲表空间进行整理7汇总本周数据库程序库缓冲命中率1/周 周一上午15分钟使用Oracle提供的statspack生成报表8汇总本周内存中排序比率1/周 周一上午15分钟使用Oracle提供的statspack生成报表9汇总本周数据库数据缓冲命中率1/周周一上午15分钟使用Oracl
27、e提供的statspack生成报表10汇总本周数据库级的TOP 5等待事件1/周周一上午15分钟使用Oracle提供的statspack生成报表11汇总本周最耗CPU的 TOP 10 SQL1/周周一上午510分钟使用Oracle提供的statspack生成报表12汇总本周磁盘I/O TOP 10的SQL1/周周一上午510分钟使用Oracle提供的statspack生成报表13汇总本周表空间I/O TOP 101/周周一上午510分钟使用Oracle提供的statspack生成报表总计周一上午12小时3.3.3 主机系统管理员负责部分序号工作内容频率时间持续时间备注1清理过时的系统临时文件1
28、/周 周一上午15分钟清理超过14天未访问的$APPLTMP/, /usr/tmp/, 目录下的临时文件2检查磁带库和磁带使用情况1/周 周一上午110分钟检查是否有足够的空间保存备份，磁带库运行中是否有错误出现总计周一上午515分钟3.3.4 网络管理员负责部分序号工作内容频率时间持续时间备注1升级网络安全软件版本（入侵检测漏洞库，病毒库）1/周周一上午1020分钟总计周一上午1020分钟3.4 系统月度维护检查工作列表3.4.1 MIS系统管理员负责部分序号工作内容频率时间持续时间备注1汇总本月用户登录审计信息，清除30天以前的审计信息1/月每月第一个工作日510分钟运行审计信息统计报表2汇总本月新增的用户和职责1/月每月第一个工
