1、redhat操作系统故障分析与解决手册redhat操作系统故障分析与解决手册更改前版本号更改后版本号更改人生效日期备 注11.1薛煜昆2015-3-2修改内存故障检查方法1.11.2张德帅2015-7-3修改CPU故障检查方法1.21.3张德帅2015-10-4修改磁盘阵列链接方法第一章 Linux常用命令1.1常规查询命令1.1.1 查看修改主机IP地址命令查看IP方法一：rootahdx-yqzl#ifconfig 查看IP方法二：rootahdx-yqzl # cat /etc/sysconfig/network-scripts/ifcfg-eth0修改主机IProotahdx-yqzl
2、 #vi /etc/sysconfig/network-scripts/ifcfg-eth0修改IPADDR，NETMASK，GATEWAY的值rootahdx-yqzl #service network restart 重启network服务来使IP生效在一块网卡上生成多个IProotahdx-yqzl ifconfig eth0:1 134.64.101.98 netmks 255.255.255.224注：用ifconfig新增的IP保存在内存中，重启network或者重启主机以后，地址就失效了，如果长期使用建议采用新增网卡配置文件的方法在/etc/sysconfig/network-s
3、cripts目录里面创建一个名为ifcfg-eth0:1的文件内容样例为： DEVICE=eth0:1IPADDR=172.16.170.2 BROADCAST=172.16.170.254 NETMASK=255.255.255.0ONBOOT=yes保存退出后，重启network后生效1.1.2.查看主机网卡速率和全半双工设置rootahdx-yqzl # ethtool eth01.1.3.查看修改主机路由表查看路由表方法一：rootahdx-yqzl # netstat -rn查看路由表方法二：rootahdx-yqzl # route n增加路由：增加某一个IP的路由route ad
4、d -host 192.168.198.34 gw 172.29.97.1 dev eth0增加某一段IP路由route add -host 192.168.198.0 netmask 255.255.255.0 gw 172.29.97.1 dev eth0 删除某一条路由route del host 192.168.198.341.1.4.查看主机序列号rootahdx-yqzl # dmidecode -s system-serial-number注：在某些刀片机安装的Redhat需要使用下面的命令查看序列号rootahdx-yqzl #dmidecode -s chassis-seri
5、al-number1.1.5.查看操作系统发行版本和内核版本查看操作系统发行版本方法一：rootahdx-yqzl # head -n 1 /etc/issue查看操作系统发行版本方法二：注：在一些主机上安装oracle时会修改/etc/redhat-release中的发行版本号，所以有时候用方法二看到的操作系统发行版本并不一定是真实的。查看操作系统内核版本：rootahdx-yqzl # uname a1.1.6.查看主机网卡&HBA卡查看网卡&HBA型号rootcrmnmdb # lspci tv查看网卡mac地址rootahdx-yqzl # ifconfig -a查看HBA卡WWN号r
6、ootcrmnmdb # cat /sys/class/fc_host/host2/port_name注：/sys/class/fc_host/下的每一个hostX代表一块HBA卡查看HBA卡当前的链接速率rootcrmnmdb host2# cat /sys/class/fc_host/host2/speed1.1.7.查看主机系统盘和文件系统文件系统使用率rootahdx-yqzl # df h系统所在磁盘rootahdx-yqzl # fdisk l如果是LVM格式可以使用pvdisplay来查看1.1.8.用户、组相关操作增加一个用户rootahdx-yqzl # useradd bo
7、ssnmv3注：默认情况下增加的用户的主目录会在/home目录下，如果要修改可以使用如下参数rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3注：默认情况下useradd username以后会自动新建一个与user name名称一样的group name，如果要加入到别的组可以使用如下参数rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3 g bossnm注：默认情况下新增用户使用的是bsh，如果想使用其他sh，可以使用如下参数rootahdx-yqzl # useradd bossnmv3 d /o
8、pt/bossnmv3 g bossnm s /bin/ksh注：在vsftp环境下想新建用户，但不需要新增的用户能够登陆主机，所以就不需要这个用户在主目录生成它自己的环境变量，可以使用如下参数rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3 g bossnm M修改某用户的密码rootahdx-yqzl #passwd bossnmv31.1.9.修改主机名方法一：rootahdx-yqzl hostname oratest注：用命令修改主机名只在重启network前或重启主机前生效，如果需要长期修改建议修改配置文件方法二：rootahdx-y
9、qzl vi /etc/sysconfig/network修改HOSTNAME字段，重启network生效配置主机hostsrootahdx-yqzl vi /etc/hosts增加IP hostname1.1.10.网络链路聚合的设置1、在/etc/sysconfig/network-scripts/目录下新建ifcfg-bond0文件并按照如下编辑rootahdx-yqzl vi /etc/sysconfig/network-scripts/ifcfg-bond0DEVICE=bond0 BOOTPROTO=static IPADDR=172.31.0.13 NETMASK=255.255
10、.252.0 BROADCAST=172.31.3.254 ONBOOT=yes TYPE=Ethernet2、按照如下修改/etc/sysconfig/network-scripts/下的ifcfg-eth0，ifcfg-eth1（本例假设是将eth0和eth1聚合）rootahdx-yqzl vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneHWADDR=D8:D3:85:FC:89:42ONBOOT=yesMASTER=bond0SLAVE=yesTYPE=EthernetUSERCTL=noroot
11、ahdx-yqzl vi /etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=eth1BOOTPROTO=noneHWADDR=D8:D3:85:FC:89:52ONBOOT=yesMASTER=bond0SLAVE=yesTYPE=EthernetUSERCTL=no3、修改modules.conf文件新增如下内容rootahdx-yqzl vi /etc/modules.confalias bond0 bonding options bond0 miimon=100 mode=1说明：miimon是用来进行链路监测的。 比如:miimon=100
12、，那么系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路；mode的值表示工作模式，他共有0，1,2,3四种模式，常用的为0,1两种。 mode=0表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。 mode=1表示fault-tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份. 4、重启主机后生效第二章 Linux系统检查2.1主机硬件检查方法一：到机房现场查看主机有没有告警灯提示方法二：有的主机配置了管理口IP，可以远程通过web登陆查看主
13、机状态方法三：查看系统日志，关键看日志中有没有IO error等字样rootahdx-yqzl more /var/log/messages方法四：根据不同的机型（IBM，DELL，HP）可以去官网或者找800索要硬件诊断工具，收集相关信息后发到800后台，定位硬件故障2.2 操作系统关键日志检查查看系统日志 rootahdx-yqzl more /var/log/messages查看系统最近100条登陆日志rootahdx-yqzl last -100查看用户mail （如果主机关闭sendmail可能没有mail日志）rootahdx-yqzl mail2.3 操作系统性能检查2.3.1
14、主机当前整体负载情况rootahdx-yqzl top利用top可以获得以下关键数据主机启动至今的时间：up 625 days主机当前进程数：Tasks 257CPU使用率：用户进程 us 1.5%，系统进程 sy 11.1%，空闲进程 id 87.4%内存（Mem）使用率：总共内存 total 16432976k，已使用 used 1294344k，空闲 free 3489532k，缓冲池 buffers 2101412k交换区（Swap）：总共交换区 total 16383992k，已使用 used 212k，空闲 free 16383780k，缓存 cached 9753692k在top
15、运行后，可以输入“-A”可以分列显示2.3.2 CPU使用率rootahdx-yqzl sar -u 1 5 #每一秒一个输出，5秒内的CPU使用率注：重点关注%idle CPU空闲2.3.2 内存使用率rootahdx-yqzl free m注：剩余内存为free+buffers+cached2.3.3 磁盘I/Orootahdx-yqzl # iostat 1 5注：重点关注%iowait2.3.4 网卡流量rootahdx-yqzl # sar -n DEV 1 3 #每一秒一个输出，3秒内的网卡流量2.3.5 当前主机端口监听情况rootahdx-yqzl # netstat -an|
16、grep tcp可以加-p参数得到监听端口对应的进程名和PIDrootahdx-yqzl # netstat -anp|grep LISTEN|grep tcp第三章 Linux参数调整5.1 ulimit参数调整5.1.1 修改主机最大进程数，最大文件打开数修改主机进程最大数，文件打开数vi /etc/security/limits.conf # 添加如下的行 * soft noproc 11000 * hard noproc 11000 * soft nofile 4100 * hard nofile 4100 说明：* 代表针对所有用户 noproc 是代表最大进程数 nofile 是代
17、表最大文件打开数5.1.2 限制用户创建文件大小#ulimit f 1000 #限制当前用户创建文件大小在1000个block以内说明：在 Linux 系统下一个 block 的默认大小是 512 bytes。例子中所能创建的文件size的最大值为 512 x 1000 = 512000 bytes。5.1.3 限制用户的管道缓冲区大小#ulimit p 512 #限制管道缓冲区的大小为 512 Kbytes5.1.4 限制进程最大可用的虚拟内存#ulimit v 200000 #限制最大可用的虚拟内存为 200000 Kbytes5.2 修改系统内核参数修改系统内核参数多数用于oracle数
18、据库的安装，修改值参考oracle安装手册的要求#vi /etc/sysctl.confkernel.shmall=2097152 #系统一次可以使用共享内存总量，一般不需修改kernel.shmmax=4294967296 #共享内存段最大尺寸，这里设为4Gkernel.shmmni=4096 #共享内存段最大数量，默认即可，不需修改kernel.sem=250 32000 100 128 #信号量fs.file-max=6815744 #可以打开的文件数量fs.aio-max-nr = 1048576net.ipv4.ip_local_port_range=9000 65500 net.c
19、ore.rmem_default=262144 #默认接收窗口大小net.core.rmem_max=4194304 #接收窗口最大大小net.core.wmem_default=262144 #默认发送窗口大小net.core.wmem_max=1048586 #发送窗口最大大小执行以下命令使设置生效：/sbin/sysctl -p第四章 Linux故障处理6.1主机网络故障处理模拟场景一：用户申告服务器连不上，ping不通处理过程：1、 先用安全平台或者SecureCRT看能否登陆，排除用户地址限制或者操作不当。2、 登陆到与故障估计相同网段的主机上去ping故障主机，判断是否是网络限制。
20、3、 远程无法连接的情况下，去现场连显示器登陆主机，排除是否是主机宕机导致。4、 无宕机的情况下，在图形界面打开终端窗口，ping网关是否ping通。5、 网关ping不通情况下，重启network服务，跟踪后台日志，看网卡启动过程中有没有报错信息，排除网卡故障和链路故障6、 观察主机网线接口指示灯闪烁是否正常，如不闪烁，拔插网线，观察是否恢复；如网卡灯不闪烁，换一个网线接交换机，排除网线和交换机端口问题。7、 以上步骤都完成后仍然无法恢复网络，可以联系网络维护人员一起协查。模拟场景二：服务器无法和指定IP通信处理过程：1、 在服务器上ping对端IP，看是否能ping通。2、 利用trace
21、route IP 命令跟踪主机到对端IP的路由，看在哪一段路由无法到达。3、 观察路由最后一跳和指定IP是否一致或同一网段。4、 如果路由不可达，可以联系网络管理员协查模拟场景三：无法访问服务器某端口处理过程：1、 在同网段的其他主机上telnet 故障主机的IP+端口（telnet IP port），排除端口是否处于监听状态。2、 利用netstat an 查看端口是否在正确的网卡上处于LISTEN状态3、 如果端口监听正常，联系网络管理员查看端口是否在防火墙上被屏蔽；如果端口监听不正常，建议用户重启应用进程。6.2 主机宕机故障模拟场景一：用户申告服务器连不上，ping不通处理过程：1、
22、先用安全平台或者SecureCRT看能否登陆，排除用户地址限制或者操作不当。2、 登陆到与故障估计相同网段的主机上去ping故障主机，判断是否是网络限制。3、 远程无法连接的情况下，去现场连显示器登陆主机，排除是否是主机宕机导致。4、 如果主机宕机，观察主机有没有告警灯，排除硬件故障。5、 如果连显示器没有显示，键盘鼠标没有反应，基本上主机已经宕机。长按主机电源开关键强制重启主机。6、 跟踪观察主机重启过程，尤其是主机硬件自检过程中有没有报错信息。7、 主机硬件自检通过后，启动操作系统时，观察操作系统启动中有没有报错信息。8、 系统启动完毕后，查看/var/log/messages中在宕机时间
23、段内有没有错误信息。9、 通过ITSM的历史性能分析，观察主机在宕机时间段的交换区负载是不是过高。6.3 HBA卡光纤链路故障模拟场景一：主机一条链路丢失1、 通过multipath ll 观察聚合路径中哪些多路径的盘的状态时ghost2、 通过pvscan观察有没有device是failed状态3、 根据multipath ll可以看到device对应的路径4:0:3:3有ghost状态，路径第一个数字4代表了host4的光纤卡，去机房观察host4的光纤卡指示灯闪烁是否正常。4、 如果HBA接有SAN环境，检查SAN到存储的光路是否正常。5、 登陆存储检查存储的光纤卡是否正常。注：本例中是两块HBA卡接入SAN环境，SAN到存储有4条路径，所以当存储一端有问题的时候，会有两条路径不可用。
