1、CSP系统维护手册中联集团CSP系统维护人员手册目 录一、手册概述 3二、系统启动关闭 42.1 系统启动 42.2 系统关闭 42.3 其他命令 4三、系统进程 63.1、CSP系统的进程 63.2、查看进程状态 63.2.1 进程是否存在 63.2.2 进程状态是否正确 7四、系统配置文件 84.1 系统配置文件定义 84.2 应用系统配置文件定义 94.3 网络配置文件定义 9五、故障及其排除方法 115.1、CSP系统启动失败 115.2、CSP系统不允许终端建立TCP/IP连接 125.3、CSP系统不处理终端的请求 125.4、CSP系统的交易处理进程不响应路由进程 13六、系统运
2、行日志查看 146.1、通信层日志 146.2、路由层日志 166.3、应用层日志 166.4、平台层日志 17一、手册概述本手册的主要阅读对象是CSP系统运行日常维护人员。本手册介绍了CSP系统系统日常维护过程中使用的管理命令，维护方法等。本手册的主要内容为： CSP系统系统运行操作包括CSP系统系统的启动和终止、进程启动参数的配置和修改、进程运行状态的检查、CSP系统系统资源及网络状态的检查、故障现象描述及故障排除等。 CSP系统系统运行日志查看方法包括系统日志的命名方法、系统日志关键字的检查方法等。维护人员可以根据日志中的信息及时判断系统进程的处理状态和异常情况，并及时排除故障。二、系统
3、启动关闭2.1 系统启动命令为：$cspstart若启动正常则在启动屏幕上显示“The System is Ready”。若系统启动失败则需要查看系统的运行日志文件（$HOME/cspsys/runtime/trace/cspsys.log）以确定系统启动失败的原因。系统启动失败的常见原因为： 数据库未启动 系统基本配置数据（包括数据库和配置文件）有误 系统启动时间设置较短 IPC KEY 已被使用 与主机的通讯线路连接失败对以上各种问题的解决方法请参考第五章的详细描述。2.2 系统关闭命令为：$cspstop命令执行后，应立即退出到接收行命令状态。若关闭成功，屏幕上会出现被杀掉的进程和被释放
4、的资源的有关信息，关闭信息的结束语句为：“System down completed”。若命令执行后，没有退出到接收行命令状态，而是进入了一种没有任何响应的状态，即：无论从界面输入任何命令，都没有响应。这时唯一的原因是：当前环境的某个队列堵塞，导致外部命令不能写入主控进程的消息队列中。解决方法：清空被堵塞的队列，然后再尝试关闭系统。2.3 其他命令命令名称命令功能Syspause后台运行系统暂停Sysrcv后台运行系统恢复procstop *停止某类进程的运行（进程类型参见附录一）procstart *重启某类进程（进程类型参见附录一）procpause *暂停某类进程的运行（进程类型参见附录
5、一）procrcv *恢复某类进程运行（进程类型参见附录一）三、系统进程3.1、CSP系统的进程CSP系统启动后共创建下列进程：进程类型进程名称进程个数描述主控进程Cspstart1路由进程SysrouterinpSysrouteroutp可多于1个可多于1个路由入进程路由出进程通信进程的监控进程Syscommonp1通信进程SyscompSyscomsrvp多个包括主机通信进程和终端通信进程计时进程Systimerp1自动冲正进程Sysrecoverp1交易处理进程tranpdayoffpmonitorptopmonitorp可多于1个可多于1个可多于1个可多于1个联机交易处理日终监控定时服
6、务3.2、查看进程状态3.2.1 进程是否存在使用下列命令可以查看CSP系统的进程是否存在。查看CSP系统平台进程：$ ps ef | grep csp系统 查看CSP系统应用进程：$ ps ef | grep tran （包括tranp等）$ ps ef | grep monitorp （监控进程）$ ps ef | grep dayoffp （日终进程）3.2.2 进程状态是否正确使用下列命令查看主控进程直接控制的所有子进程的状态。$ cspshm主控进程把所有被它控制的子进程的信息写入共享内存中，因而该命令实际上是对共享内存中的内容进行查看。执行命令后，屏幕上首先显示一个进程的状态信息，
7、维护人员可以使用“回车键”继续查看其他进程的状态，退出该命令的方法为：键入q。每个进程的状态的信息如下：pid15646 pname/home/card/runtime/exe/tranp pstatus0 pnn0 ptype7 pcntltype00其中各项的含义如下：pid 进程号pstatus 进程的状态-1 ：退出1 ：正常2 ：启动中3 ：异常4 ：停止5 ：暂停6 ：启动7 ：暂停中8 ：停止中pnn 未响应主控进程的次数ptype 进程类型 2 ：通信进程的监控进程 3 ：路由（入、出）进程 6 ：计时进程 7 ：交易进程 10 ：自动冲正进程如果出现下列信息：pid0 pna
8、me pstatus0 pnn0 ptype0 pcntltype则表示已经显示了所有有效的进程的信息，此时应键入q结束查看。如果需要重新查看，请重复使用cspshm命令。四、系统配置文件CSP系统系统配置文件包括对IPC资源、通讯端口、启动进程的名称及其个数的定义。CSP系统使用的系统IPC资源包括：shared memory，semphore，queue。其中semphore和queue的键值在CSP系统的配置文件中定义。4.1 系统配置文件定义系统进程/资源配置文件（$CSPDIR/runtime/etc/sys.cfg）CommonINQUERYTIME * 进程定时查询时间SHUTD
9、OWNTIME * 系统关闭等待时间INQUERYCOUNT * 进程未响应次数限制LOGONTIMELIMIT * 系统启动等待时间MSGQUEUECOUNT * 消息队列数SEMPHORECOUNT * 信号量数SHAREMEMCOUNT * 共享内存个数PROCNAMECOUNT * 进程名个数QRESOURCEQE2P * * 队列名 队列标识值 队列KEY.SEMRESOURCESR2P * * *信号量名 信号量标识值 信号量KEY 初始值.SHMRESOURCESHMI1 * * *共享内存名 共享内存标识 共享内存KEY值 共享内存大小.PROCESS* * * * *进程名
10、进程类型 进程个数 进程控制方式 进程启动参数4.2 应用系统配置文件定义应用系统进程配置文件（$CSPAPPDIR/etc/app.cfg）CommonPROCNAMECOUNT * 进程名个数PROCESS* * * * *进程名 进程类型 进程个数 进程控制方式 进程启动参数4.3 网络配置文件定义路由节点网络信息文件（$CSPDIR/runtime/etc/net.cfg）SESSIONSessionName=* 会晤名PROTOCOLPlatform_Type=* 操作系统平台Protocol_Type=* 通讯协议RESOURCEOpen_Mode=ServerClient 呼叫方
11、式Remote_Addr=* 对方地址Local_Addr=* 本地地址Connect_Mode= SVCPVCBlockNoBlock 连接方式IO_Mode= IOInComingOutComing 工作方式OPTIONSQUEUE_KEY= 和IPC队列连接KEYQUEUE_MTYPE= IPC队列报文类型通讯运行日志命名规范配置文件（$CSPDIR/runtime/etc/trc.cfg） TRCCFG ZERO * * * * * 路由节点名 命名规则 分组进程数 进程计数器 进程组数 #routeid flg proccount counter num R_02 0 003 000
12、 001 其中 R_02表示：ROUTEID=02 flg 表示：按照进程PID还是分组记录TRACE。 （0分组，1PID） proccount 表示：多少进程作为一组 coutner 表示：进程组进程计数器 num 表示：组计数器五、故障及其排除方法5.1、CSP系统启动失败现象1以命令行方式执行cspstart后很快在屏幕上出现“The Server is downing.”的提示，然后CSP系统关闭所有已经建立的进程及资源，全部退出。可能的原因初始化CSP系统的队列、信号量或共享内存失败。故障排除（1） 如果是初始化共享内存失败，则将机器重新启动。（2） 如果是队列或信号量初始化失败，
13、使用SHELL命令ipcs q查看队列情况，若存在KEY值为0x00002711-0x0000271c的队列，则使用ipcrm q命令清除该队列，然后重新启动CSP系统。若以上措施未起作用，则修改CSP系统系统配置文件：$HOME/ cspsys/runtime/etc/sys.cfg修改队列或信号量的KEY值，然后重新启动CSP系统。现象2以命令行方式执行cspstart后很快在屏幕上出现“execl error6”或“execl error13”的提示，然后CSP系统关闭所有已经建立的进程及资源，全部退出。可能的原因系统错误6的含义为：设备或地址不存在。系统错误13的含义为：权限受到限制。
14、在这种情况下说明需要被CSP系统的父进程PMonitorP创建的某个子进程的执行程序不存在，或者该执行程序的权限有误，导致PMonitorP不能创建它（们）。故障排除（1） 如果是平台进程，则查看目录：$HOME/cspsys/runtime/exe判断相应的执行程序名称是否存在及其权限是否正确等。（2） 如果是应用进程，则查看目录：$HOME/runtime/exe判断相应的执行程序名称是否存在及其权限是否正确等。现象3以命令行方式执行cspstart后等待了很长一段时间后，屏幕上出现“The Server is downing.”的提示，然后CSP系统就关闭了所有已经建立的进程及资源，全部
15、退出。可能的原因3.1数据库系统尚未启动故障排除3.1启动数据库后再尝试。可能的原因3.2由于连接数据库的时间太长，某个进程登录失败。故障排除3.2修改系统配置文件：$HOME/cspsys/runtime/etc/sys.cfg，将LOGONTIMELIMIT和COMLOGONTIMELIMIT参数相应改大一些（注意COMLOGONTIMELIMIT的值应小于LOGONTIMELIMIT，不可相等），然后重新执行cspstart。5.2、CSP系统不允许终端建立TCP/IP连接可能的原因终端不正常地关闭TCP连接，导致系统TCP资源耗尽。查看方法在任意目录下，键入下列命令：$ netstat
16、 n | more显示的内容的数据项为下述内容：Proto Recv-Q Send-Q Local Address Foreign Address (state)tcp 0 4 10.2.88.242.23 10.2.88.73.1029 ESTABLISHED查看CSP系统相应端口（Local Address）与外部设备之间的tcp连接的状态，如果处于FIN_WAIT_2的时间很长，则说明终端设备以非正常方式关闭了与CSP系统的tcp连接，导致CSP系统所在机器处于等待该tcp连接退出的状态，占用了系统的tcp资源。故障排除（1） 如果所有的、或大多数tcp连接都进入了FIN_WAIT_2状
17、态，则需要关闭CSP系统，以释放所有与CSP系统有关的tcp资源，然后重新启动CSP系统。（2） 如果只有个别的tcp连接进入了FIN_WAIT_2状态，则可以等待几分钟后再观察。5.3、CSP系统不处理终端的请求问题确定方法查看CSP系统提供的$HOME/cspsys/runtime/trace/com.log，确实在相应的时间从网络获得了终端的请求报文，但在$HOME/cspsys/runtime/trace/route.log中没有查找到该报文的任何信息。可能的原因城市前置系统的队列已经由于未知原因被堵塞，导致CSP系统的通讯进程SysComP已经无法向队列中写报文，从而表现出CSP系统
18、对终端交易不响应的结果。故障排除使用下列命令，查看被堵塞的队列名称：$ ipcs q o |more屏幕上显示下列内容：T ID KEY MODE OWNER GROUP CBYTES QNUM 队列 队列 队列 队列 队列属主 目前队列中 目前队列中 标识 键值 模式 属主 所属组别 数据字节数 报文个数Message Queues:q 1024 0x00000fa1 -Rrw-rw- csp group 0 0q 1025 0x00000fa2 -Rrw-rw- csp group 0 0q 1026 0x00000fa3 -Rrw-rw- csp group 0 0q 1027 0x00
19、000fa4 -Rrw-rw- csp group 0 0如果其中某个队列中的数据长时间（1分钟以外）没有被读走，且有累加的趋势，则有可能是该队列的数据堵塞，从而导致CSP系统的进程写队列失败，此时应记录错误信息及队列键值（以进一步分析堵塞原因），同时使用下列命令清除该队列（有可能为多个队列）的数据：$ detailmsg 队列键值队列中的信息被清除时，会在屏幕上闪过具体的信息。清除后，再次使用ipcs命令观察队列状态。5.4、CSP系统的交易处理进程不响应路由进程现象通过查看$HOME/cspsys/runtime/trace/route.log已经可以确定CSP系统接收到了交易报文并且确定
20、了交易处理方，此时交易处理方应接收该报文，然后进行处理，但是实际上，在$HOME/cspsys/runtime/trace/app.log中找不到相关的信息，而且查看队列状态时发现该交易处理方应读取信息的队列中的报文没有被读走，随着交易的不断发生，报文还在继续累加。可能的原因交易进程未处于活动状态：在启动中（2）或退出状态（4）。深层次的原因时交易进程的执行代码存在问题（实际运行过程中不存在这种可能）。故障排除停止正在运行中的执行代码，在编译环境编译新的执行代码，替代正在运行中的执行代码，并重新启动该交易处理进程。然后继续观察。六、系统运行日志查看CSP系统系统运行日志的目录为：$HOME/c
21、spsys/runtime/trace，名称及其含义如下所示：com*.log ：通信层日志route_in*.log ：入系统路由层日志route_out*.log ：出系统路由层日志tranp*.log ：本行金融应用层日志gctranp*.log ：金卡金融应用层日志cspsys.log ：平台层日志 CSP系统系统运行日志采用分类管理, 将主要的系统后台进程（ROUTERP，TRANP）按照PID号进行TRACE文件的分开记录, 将通讯进程按照PID和ROUTEID进行分开记录.通讯日志的纪录原则将依据参数配置文件cspsys/runtime/etc/trc.cfg 进行.配置文件信息
22、如下： #routeid flg proccount counter num R_02 0 003 000 001 其中 R_02表示，ROUTEID=02 flg 表示，按照进程PID还是分组记录TRACE。（0分组，1PID） proccount 表示多少进程作为一组 coutner 表示进程组进程计数器 num 表示组计数器 对于每一类ROUTEID进行trc.cfg相关配置，一般来说，与主机通讯类节点应配置为按照PID分类（flg=1）,对于和终端连接的通讯类节点应该分组（flg=0）.维护人员需要查看交易的处理过程、处理情况时，可以按照某种查找标志（关键字可以为流水号、交易代号、处理
23、时间等）依次查看com*.log、route*.log、gctranp*.log, tranp*.log日志。如果是认为系统平台出现故障，可以查看cspsys.log。下面将详细介绍查看上述日志的方法。6.1、通信层日志通讯层日志的名称为：com*.log。查看的方法为：CSP系统通信进程接收到一个报文时，在com*.log中会记入下述信息：“NetRead Data OK”;CSP系统向下一个网络节点发送一个报文时，在com.log中会记入下述信息：“NetWrite Data OK”。注意：如果一个交易需要发送到主机去，并等待主机的回应，该交易的日志信息应该是这样的。NetRead Dat
24、a OK. 从终端设备读入的信息NetWrite Data OK. 发送到主机的信息NetWrite Data OK 前置处理结束后，返回终端设备。下面是一个实际的例子，表示2000/05/15 10:30:07读到的一个报文的信息。13369|1000|Mon May 15 11:51:42 2000MSG:NetApiScoTcp.c649Pid13369NetRead Data OKPATH:600007-700053Displacement -1-2-3-4-5-6-7-8-Hex-0-1-2-3-4-5-6 -ASCII Value-00000(00000) 30 32 30 30
25、72 38 44 81 00 80 10 19 10 30 33 76 0200r8D201*200*03v00016(00010) 13 10 00 01 06 40 00 00 00 00 00 00 00 00 02 21 *!00032(00020) 12 00 00 11 89 37 12 00 00 02 21 60 10 00 10 01 *2117*!*00048(00030) 08 08 37 61 80 38 31 30 30 30 30 30 32 e0 82 14 *7a20081000002202*00064(00040) 11 3d 28 6e cf 00 25 3
26、3 33 34 30 20 20 30 35 30 *=(n?%3340 05000080(00050) 30 30 34 20 20 30 30 30 30 30 30 30 73 63 6c 33 004 0000000scl300096(00060) 33 34 30 30 20 20 20 20 20 20 20 20 00 18 40 40 3400 *00112(00070) 00 00 00 00 00 00 00 00 00 00 00 00 00 00 33 37 *3700128(00080) 36 31 31 30 30 35 fb 46 a9 4c e4 bb f5 d
27、3 611005鸉浠跤8377|1000|Mon May 15 11:51:43 2000MSG:NetApiScoTop.c81Pid8377NetWrite Data OKPATH:600007-700050-700054Displacement -1-2-3-4-5-6-7-8-Hex-0-1-2-3-4-5-6 -ASCII Value-00000(00000) 00 c7 31 30 00 00 00 00 33 33 34 30 20 20 30 38 *?0*3340 0800016(00010) 73 63 6c 33 33 34 30 30 20 20 20 20 20 20
28、 20 20 scl3340000032(00020) 00 0f 20 20 20 20 20 20 20 20 20 20 20 20 00 99 * *23100048(00030) 31 30 30 30 30 30 30 32 30 30 72 38 44 81 80 80 1000000200r8D20120020000064(00040) 10 19 10 30 33 76 13 10 00 01 06 40 00 00 00 00 *03v*00080(00050) 00 00 00 00 05 15 11 51 43 01 95 49 12 00 00 02 *QC*225I*00096(00060) 21 60 10 00 10 01 08 08 37 61 80 04 39 10 38 31 !*7a200*9*8100112(00070) 30 30 30 30 30 32 d6 a7 f9 f8 03 1a 80 fd 00 25 000002支 *200MSG:NetApiScoTcp.c451Pid13369NetWrite Data OKPATH:600007-700054Displacement -1-2-3-4-5-6-7-8-Hex-0-1-2-3-4-5-6
