1、W908故障应急预案W908故障应急预案（V2010-10）中兴通讯固网产品支持部目录第1章 概述 3第2章 应急处置基本原则 42.1预防为主，积极准备 42.2快速响应，迅速排障 42.3及时总结，不断完善 4第3章 适用范围 5第4章 应急组织架构 64.1组织职责和架构组成 64.1.1组织职责 64.1.2架构组成 64.2 WLAN产品应急保障团队人员组成 64.2.1各办事处现场保障团队 64.2.2 WLAN产品线紧急故障保障小组 6第5章 其它相关配合 75.1备品备件的准备 7第6章 故障类型分析 86.1系统异常处理 86.1.1查看设备配置信息 86.1.2查看接口信息
2、 96.1.3查看端口流量 106.1.4查看CPU及内存使用情况 116.1.5查看设备路由表 126.1.6系统日志检查 126.1.7拨号业务检查 126.1.8固定IP业务检查 136.1.9DHCP业务检查 136.1.10 Radius对接状态检查 136.2各模块功能维护及故障处理 146.2.1以太网功能维护及故障处理 146.2.2宽带接入业务异常处理 166.2.3路由异常处理 176.2.4组播故障功能异常处理 186.2.5MPLS L3VPN功能维护及故障处理 196.2.6ACL功能异常处理 19第1章 概述本应急预案针对ZTE WLAN通讯设备在商用运行过程中出现
3、的重大故障、紧急故障而制定。本案系结合ZTE WLAN的设备设计原理，业务功能实现方式和对接设备接口配合、特别是在多年通信网应急通信保障历史经验的基础上，制定了快速、高效、规范的应急预案，可应对各种商用网中出现的重大、紧急故障，把影响降低到最低，同时方案中增加了日常维护过程中的各种系统检查，提前排除隐患的内容。应急方案中包括总组织架构、配合、物流、技术等各个方面，成立应急通信保障队伍，将责任落实到具体负责人，保证在紧急情况下能迅速行动，确保通信畅通。第2章 应急处置基本原则2.1预防为主，积极准备坚持“预防为主”的方针。做好应对各种情况的准备、应急资源准备、保障措施准备和突发事件预想，充分利用
4、现有资源，制定科学的应急预案，定期组织开展应急培训和应急演练，提高对各种突发事件，通信事故的应急响应和处置能力。2.2快速响应，迅速排障对于已经出现的重大、紧急故障，迅速启动紧急故障处理流程，快速响应，迅速形成现场排障小组，后方支持下小组进行故障定位处理。相关现场负责人负责协调并确保各种排障资源的提供，组织用服、测试、研发支持保障，前后方配合迅速定位故障，排除故障。2.3及时总结，不断完善故障发生解决后，进行反思总结，对应急预案、应急培训和应急演练方面进行补充和完善，争取能够对重大故障进行成功的预防；对故障处理发现的技术问题、流程问题、资源问题和组织问题进行分析，并融入到系统应急方案中，提高对
5、各种突发事件、应急通信事故的快速响应和迅速排障的能力。第3章 适用范围本预案系所有商用的ZTE WLAN 908设备在运行过程中的应急预案，使用与WLAN网在下述情况下的重大通信保障或通信恢复工作。1、 紧急、重大通信事故2、 重大节假日通信保障工作3、 重大自然灾害、恐怖袭击、事故灾难4、 重大活动的保障工作和应急故障处理5、 国家或者运营商要求的重要通信保障任务该预案专门针对中兴WLAN W908产品出现严重或重大故障，严重影响用户的正常使用的应急处理措施。第4章 应急组织架构4.1组织职责和架构组成4.1.1组织职责应急组织主要负责组织协调网络安全相关工作，包括制定重大专项安全保障方案和
6、应急预案、评估重大安全风险并研究改善措施、组织落实的通信保障任务、应急培训、应急演练和重大紧急故障的组织处理等。4.1.2架构组成现场保障团队包括营销办事处领导和产品经理、技术支持工程师等人员，同时包括物流方面、工具方面、资料方面的相关人员。后方保障团队包括后方产品用服领导、技术专家、可支配的能够现场出差的技术支持工程师等。4.2 WLAN产品应急保障团队人员组成4.2.1各办事处现场保障团队姓名职位手机负责内容4.2.2 WLAN产品线紧急故障保障小组姓名职位手机负责内容第5章 其它相关配合5.1备品备件的准备系统正常运行期间，按照合理比率，做好备品备件的准备和管理工作、做好故障单板的返修工
7、作，做到有硬件故障及时更换处理和返修，防止在重大节假日或者应急故障时，由于备件不足或者平时故障硬件没有更换造成延误故障定位和解决。第6章 故障类型分析6.1系统异常处理6.1.1查看设备配置信息项目查看设备配置信息检查内容使用show running-config命令查看AC的配置信息正常情况正常情况下，能看到类似下面的信息。配置信息应当完整，且与用户实际配置一致ZCZWLAN-AC-1-BACKUP# show running-configthis is the running config file config terminal hostname CZWLAN-AC-1-BACKUP s
8、ystem mode fit-ap system data-tunnel layer2 wireless data-sync enable wireless ap-tunnel-port 5248 wireless local-tunnel-ip 192.168.1.101 igmp-proxy turn on wireless unicast-separate ip dhcp server 192.168.1.98interface GigabitEthernet 1/1.0 description CONN-TO-SE800*1 duplex full port-trunk interfa
9、ce GigabitEthernet 1/0.0 duplex full description TO-C7609*G3/12 ip address 192.168.1.98 255.255.255.252 port-access interface GigabitEthernet 1/2.0 ip address 192.168.1.101 255.255.255.252 ip-pool wtp-1 l3 ipnetwork 172.16.1.0 255.255.255.0 192.168.1.97 alloc-mode localdhcp default-router 172.16.1.1
10、 reservedip 172.16.1.1 max-lease 30 option-60 ac-manage-ip 192.168.1.102 option-60 enterprise-code 3902 option-43 ip-list 192.168.1.102 available-interface port 0 ip route 0.0.0.0 0.0.0.0 221.195.251.97 异常情况1 配置信息丢失不完整。2 配置信息显示与用户实际配置不符异常情况处理1 如果配置信息丢失不完整，首先检查业务是否正常，如果业务正常，那么更换登录方式查看，如果是使用串口登录，确认登录软
11、件为WINDOW系统自带超级终端，更换PC机测试，如果仍然看不到信息，尝试TELNET登录进行查看。如果以上操作后，配置信息依然显示不完整，可能是软件出现异常，请联系ZTE客户支持中心，做进一步处理。2 如果是配置信息显示与实际配置不符，首先检查用户实际配置是否生效，如不生效，可能是没有配置上去，尝试重新配置。如果配置已经生效，但是没有显示，查看手册，检查是否该项为默认配置，默认配置在show run中不显示。如果配置已经生效，而显示的配置与实际生效配置相反，不一致，那么可能为此版本显示问题，请联系ZTE客户支持中心，做进一步处理6.1.2查看接口信息项目查看接口信息检查内容使用show in
12、terface命令查看接口状态 正常情况能看到类似下方的接口信息。需要带业务接口状态均为UPCZWLAN-AC-1-BACKUP# show interface GigaEthernet 1/0:= Ethernet address is 00:25:12:99:12:7e Line link state is UP Admin state is UP Work mode is 1000m, full 606028(591.844k) packets received 64bytes: 67687(66.103k) 65-127bytes: 84851(82.883k) 128-255byte
13、s: 84042(82.074k) 256-511bytes: 66013(64.477k) 512-1023bytes: 122897(120.017k) 1024-1518bytes: 180538(176.314k) 1519-1530bytes: 0(0) 509823(497.895k) packets sent 64bytes: 10917(10.677k) 65-127bytes: 92811(90.651k) 128-255bytes: 82161(80.241k) 256-511bytes: 23526(22.998k) 512-1023bytes: 57151(55.831
14、k) 1024-1518bytes: 243257(237.569k) 1519-1530bytes: 0(0) 49899(48.747k) multicast packets received 0(0) multicast packets sent 0(0) input errors, 0(0) output errors 0(0) drops rcvd rate is 2(2)packets/s, 128(128)/s sent rate is 2(2)packets/s, 129(129)/s ge (unit number 1/0.0): Flags: (0x63) UP BROAD
15、CAST ARP RUNNING Type: ETHERNET_CSMACD Internet address: 192.168.1.98 Broadcast address: 192.168.1.99 Netmask 0xffffff00 Subnetmask 0xfffffffc异常情况1端口状态为DOWN 异常情况处理1 端口状态为DOWN，可能是对应的接口做了shutdown操作，进入到接口配置模式下，执行no shut命令。3 如果端口状态为up，但是端口仍然无法正常工作，可查看端口协商模式，确认端口与对端协商模式一致。6.1.3查看端口流量项目查看端口流量检查内容查看端口流量也是日
16、常维护时需要做的，主要目的是查看相关端口流量是否正常，若端口出现流量异常，很可能导致端口流量拥塞，使正常业务受到影响。查看端口信息的命令为show interface XX正常情况端口GigaEthernet 1/0:= Ethernet address is 00:25:12:99:12:7e Line link state is UP Admin state is UP Work mode is 1000m, full 606028(591.844k) packets received 64bytes: 67687(66.103k) 65-127bytes: 84851(82.883k)
17、128-255bytes: 84042(82.074k) 256-511bytes: 66013(64.477k) 512-1023bytes: 122897(120.017k) 1024-1518bytes: 180538(176.314k) 1519-1530bytes: 0(0) 509823(497.895k) packets sent 64bytes: 10917(10.677k) 65-127bytes: 92811(90.651k) 128-255bytes: 82161(80.241k) 256-511bytes: 23526(22.998k) 512-1023bytes: 5
18、7151(55.831k) 1024-1518bytes: 243257(237.569k) 1519-1530bytes: 0(0) 49899(48.747k) multicast packets received 0(0) multicast packets sent 0(0) input errors, 0(0) output errors 0(0) drops rcvd rate is 2(2)packets/s, 128(128)/s sent rate is 2(2)packets/s, 129(129)/s ge (unit number 1/0.0): Flags: (0x6
19、3) UP BROADCAST ARP RUNNING Type: ETHERNET_CSMACD Internet address: 192.168.1.98 Broadcast address: 192.168.1.99 Netmask 0xffffff00 Subnetmask 0xfffffffc异常情况1 端口流量不正常2 多次show interface发现数据包急增异常情况处理1 查看端口状态，确认链路是否工作正常，并确认下行用户数及并发流量，确认链路带宽是否足够，是否需要扩容数据。2 多次show interface发现数据包急增，首先检查业务是否正常，如果此时业务也不正常，查
20、看系统告警，如果有大量IP不同的地址漂移告警，很可能就是下面的网络中发生的广播风暴或者有病毒攻击，请检查该接口下的网络环境，确保没有环路，并可以通过下层设备的端口流量和MAC地址确定攻击源6.1.4查看CPU及内存使用情况项目查看CPU及内存使用情况检查内容在特权模式下，使用show cpuusage命令查看CPU以及内存使用情况正常情况CZWLAN-AC-1-BACKUP# show cpuusage CPU usage rate is: 17.73%CPU history information:System running time: 31 days, 13:00:14, CPU usa
21、ge rate: 18.44%System running time: 31 days, 12:55:14, CPU usage rate: 18.41%System running time: 31 days, 12:35:14, CPU usage rate: 18.41%System running time: 31 days, 12:05:14, CPU usage rate: 17.38%System running time: 31 days, 11:05:14, CPU usage rate: 17.38%CPU利用率一般不应超过50%异常情况CPU利用率居高不下，达到8090%
22、异常情况处理如果CPU利用率达到8090%，首先检查业务是否受影响，一般来说，在CPU达到8090%甚至更高时，业务多少会受到影响，此时检查设备日志信息，此时如果CPU利用率高，可能是受到网络病毒攻击，重点是查看系统日志，查找攻击源，同时请联系ZTE客户支持中心，做进一步处理6.1.5查看设备路由表项目查看设备路由表检查内容在特权模式下，使用show ip route命令查看本地路由表是否正常正常情况可以看到各类的路由条目，并且多次用show ip router命令看到显示路由条目数比较稳定异常情况1 多次用show ip router命令查看路由条目时，动态路由条目变化频繁。2 路由学习不正
23、确，应该学习到的路由没有被学习到异常情况处理1 多次用show ip router命令查看路由条目时，如果动态路由条目变化频繁，说明网络中存在路由振荡，容易导致网络丢包和间隙性的通断。需要察看具体协议的配置。2 如果路由学习不正确，请检查当前的路由配置，以及对端路由器的配置。如果都确认没有问题，请联系ZTE客户支持中心，做进一步处理6.1.6系统日志检查项目系统日志检查检查内容在特权模式下，通过show logging命令来查看系统记录的日志正常情况可以看到系统的一些告警信息，如端口UP/DOWN等，但是系统没有严重告警show logging Console logging: level 7
24、 Minitor logging: level 7 Log Buffer(22080 bytes):%NetManager-3: 04/06/03 19:03:16 A Remote logout, Name:bnas, IP:222.223.36.50, 2003/4/6 19:3:16CZWLAN-AC-1-BACKUP# %NetManager-3: 04/07/03 11:43:51 A Remote login, Name:bnas, IP:222.223.36.50, 2003/04/07 11:43:51CZWLAN-AC-1-BACKUP# %NetManager-3: 04/
25、07/03 11:44:23 A Remote logout, Name:bnas, IP:222.223.36.50, 2003/4/7 11:44:23异常情况看到异常告警异常情况处理6.1.7拨号业务检查项目拨号业务检查检查内容在radius认证、本地认证和不认证情况下由用户进行PPP拨号正常情况在radius认证情况下用户根据正确的用户名和密码能通过认证，错误的用户名和密码出现691错误；本地认证时只能根据本地配置的用户名和密码才能通过认证，否则出现691错误；不认证时输入任何非空用户名密码都能通过认证异常情况用户使用正确的用户名/密码不能通过认证1 出现691错误2 出现678错误异
26、常情况处理1 若出现691错误则是用户名/密码错误，可检查设备是否要求用户拨号时带正确域名，用户帐号在radius服务器是否显示已经在线，ip pool配置是否正确及够用，与radius的通信是否正常。2 若出现678错误则是客户端PC未能发现AC设备，可检查下连端口配置情况及下联交换机VLAN配置情况，并检查ZXUAS设备是否有CPU资源可响应用户接入请求。若还不能定位，请联系ZTE客户支持中心，做进一步处理6.1.8固定IP业务检查项目固定IP业务检查检查内容固定IP用户的上网情况正常情况固定IP用户在手动配置IP地址后即可正常上网异常情况用户手动配置IP地址后无法上网异常情况处理1 查看
27、ip-host配置是否正确2 查看接用户的子接口VLAN配置是否正确3 检查下连设备看用户是否处于正确的VLAN中4 检查AC和用户客户端是否进行了静态ARP绑定5 检查用户终端IP地址及网关、DNS是否配置正确若还不能定位，请联系ZTE客户支持中心，做进一步处理6.1.9DHCP业务检查项目DHCP业务检查检查内容用户获取DHCP情况正常情况用户电脑能正确获取IP地址并能正常上网异常情况用户电脑不能正确获取IP地址或者获取到IP地址后无法上网异常情况处理1 检查DHCP配置是否正确2 检查用户是否处于正确的VLAN中3 检查用户端是否设置禁止自动获取IP地址4 若用户能正确获取IP地址却不能
28、上网可检查是否做了限制访问策略5 是否给用户分配了正确的DNS若还不能定位，请联系ZTE客户支持中心，做进一步处理6.1.10 Radius对接状态检查项目Radius对接状态检查检查内容检查与radius服务器的通信是否正常正常情况telnet或者串口登陆AC，使用ping命令能ping通radius认证和计费服务器，用户使用正确的用户名/密码能通过认证并正常计费异常情况无法与radius服务器通信、认证状态或者计费状态异常异常情况处理1 检查AC到radius服务器路由是否可达并畅通2 检查AC上与radius服务器对接的协议参数是否正确3 检查radius服务器是否可正确识别AC设备若还
29、不能定位，请联系ZTE客户支持中心，做进一步处理设备无法启动设备在重启时无法从FLASH正常启动W901不能正常启动：W901启动时需要5分钟左右，如果5分钟后，设备还不能完成启动，说明设备出现异常，使用串口连接设备的CONSOLE口，看是否能够进入拯救模式，如果可以，进入拯救模式执行命令rescue恢复版本，如果不能进入，看串口是否有打印信息，收集启动信息，联系ZTE客户支持中心，做进一步处理6.2各模块功能维护及故障处理6.2.1以太网功能维护及故障处理6.2.1.1 ARP功能维护项目ARP功能维护检查内容show arp interface xxx查看各个接口下的ARP，使用PING命
30、令测试是否能够互通。正常情况设备能够正常学习到其他设备的ARP，对端设备也可以学习到本端的ARP，设备之间互PING可以PING通 正常情况的show arp interface示例：异常情况1 学习不到对端设备的ARP2 对端学习不到本端的ARP异常情况处理1 2 如果以上测试定位仍然无法解决问题，请联系ZTE客户支持中心，做进一步处理6.2.1.2链路聚合不成功项目链路聚合不成功检查内容show lacp internal正常情况Agg State为selected状态异常情况Agg State为unselected状态异常情况处理如果以上工作无法定位问题，请联系ZTE客户支持中心，做进一步处理6.2.1.3链
