广播风暴 网络环路轻视不得(2)
2007-09-03   51cto

故障排除

为了能在现场测试网络的连通性，在网络中心，我们把连接那栋大楼接入交换机的多模尾纤经光电转换器用双绞线连到一台PC上，并将其模拟成那个问题VLAN的网关。然后，到现场找来大楼网管员，想让他协助我们尽快把感染了未知病毒的主机查到并隔离。据大楼网管员反映，昨天网络还算正常，不过，当时本大楼某部门正在做网络调整，今天上班就发现网络不行了，不知跟他们有没有关系。我们认为调整网络应该跟感染病毒关系不大。

在大楼主配线间，我们把该接入交换机上的网线都拔掉，接上手提电脑，能连通网络中心的测试主机。我们确认链路没问题后，每次将剩余网线数量的一半插回该交换机，经测试没问题则如是继续下去，否则换插另一半，逐渐缩小怀疑有问题网线的数量。我们最终找到一条会引起问题的网线，只要插上这根网线，该大楼网络就会与模拟网关中断连接。经大楼网管员辨认，这条网线是连接昨天在做网络调整的那个部门的。他还说以前该部们拉了一主一备两条网线，应该还有一条，并亲自在那台交换机上把另一条找了出来。随意插上这两条网线中的一条，网络没问题，但只要同时插上，就有问题，哪有在一台交换机上同时插上两条网线才会激活网络病毒的SYN Flood攻击的？这时我们倒是觉得这种现象更像是网络中有环路。

我们到了那个部门发现有三台非管理型交换机，都是串在一起的，然而其中两台又分别通过那两条网线与接入交换机相连，从而导致了网络环路（如图2）。显然是施工人员对网络拓扑不清楚，当时大楼网管员有事外出，就自以为是地把线接错了，从而造成了这起网络事故。原因找到就好办了，只需拔掉其中一条上联网线（例如，图2的虚线）即可恢复网络连通。

498)this.style.width=498;" border=0>

图2 接入上联线

经过一番周折，网络恢复了正常，但我们还一直在想，是什么干扰了我们的判断呢？

故障分析

一起典型的网络环路故障，用协议分析工具Sniffer抓了这么多的数据包，经过一番分析却没看出问题来。显然，第一眼看到大量的SYN包让我们产生了错觉，想当然地就以为是SYN Flood攻击。事后，我们就这起网络环路故障排除过程做了检讨，重新仔细地分析抓回来的这些数据包，据此解释一下前面提到这些数据包所具有的5个共同特征，以便今后遇到同类问题时能及时作出正确的反应。

先看前4个特征：汇聚交换机是网络层设备，该大楼所属VLAN的网络层接口就设置在这台汇聚交换机上，出于实施网络管理策略的需要，对已注册或没注册的IP地址都进行了MAC地址的绑定。TCP连接要经过3次握手才能建立起来，在这里发起连接的SYN包长度为28个字节，加上14个字节的以太帧头部和20个字节的IP报头，由Sniffer捕获到的帧长度共为62个字节（不包含4字节的差错检测FCS域）。恰巧当时访问该VLAN的单播帧是来自外网的TCP请求包，根据以太网桥的转发机制，通过CRC正确性检测后，因已做静态ARP配置，这台汇聚交换机会将该单播帧的源MAC地址转换成本机的MAC地址，其目的MAC地址依据绑定参数来更换，并重新计算CRC值，更新FCS域，经过这样重新封装后，再转发到那栋楼的接入交换机。