有台XEN服务器负载不高但是显示软中断非常严重
top - 14:12:10 up 1467 days, 4:30, 3 users, load average: 4.90, 4.37, 4.32
Tasks: 438 total, 7 running, 425 sleeping, 4 stopped, 2 zombie
Cpu(s): 7.0%us, 11.0%sy, 0.3%ni, 64.4%id, 4.7%wa, 0.0%hi, 12.5%si, 0.1%st
Mem: 12310560k total, 12167284k used, 143276k free, 261096k buffers
Swap: 2008116k total, 1164228k used, 843888k free, 5533976k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
6 root 20 0 0 0 0 R 98.1 0.0 146868:16 ksoftirqd/1
软中断通常是由于网络负载过高引发的，所以在快速排查服务器硬件无异常，检查网络流量。
检查网络sar -n DEV 1显示有一个虚拟机存在异常的网络收包，这个虚拟网卡占用了所有的网络流量，网络收包达到接近15wPPS：
01:09:36 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
01:09:37 PM lo 89.00 89.00 594.82 594.82 0.00 0.00 0.00
01:09:37 PM slave0 41006.00 1015.00 18034.06 988.48 0.00 0.00 0.00
01:09:37 PM slave1 109760.00 1314.00 38255.56 1460.69 0.00 0.00 0.00
01:09:37 PM eth0 150765.00 2329.00 56289.22 2449.17 0.00 0.00 0.00
...
01:09:37 PM 000a17-I 5.00 16880.00 1.91 4522.79 0.00 0.00 0.00
01:09:37 PM vlan.503 147969.00 5.00 51539.09 1.98 0.00 0.00 0.00
检查到虚拟网卡000a17-I接收大量数据包 检查虚拟机domU的id
sudo xm list | grep -v "Domain-0" | grep -v "ID" | awk '{print $2}' | tee domU
查看是哪个dom
for i in `cat domU`;do echo $i;sudo virsh dumpxml $i | grep 000a17-I;done
这个虚拟机dom_id是74，然后就可根据这个id找到对应的vm，并进一步排查
抓包验证（对虚拟网卡抓包），可以增加host的参数指定IP地址，方便过滤数据包
sudo tcpdump -i 000a17-I -tttt -nn host 192.168.1.111
显示该服务器接收到大量的syslog日志
2017-02-08 13:23:48.310520 IP 192.168.1.222.7616 > 192.168.1.111.514: SYSLOG local7.info, length: 196
2017-02-08 13:23:48.310530 IP 192.168.1.222.7616 > 192.168.1.111.514: SYSLOG local7.info, length: 190
...
2017-02-08 14:06:39.001213 IP 192.168.1.238.2000 > 192.168.1.111.514: SYSLOG local7.warning, length: 365
2017-02-08 14:06:39.001228 IP 192.168.1.238.2000 > 192.168.1.111.514: SYSLOG local7.warning, length: 370
后续则可以进一步进行业务排查。