最近事情有点多，没时间整理文件。但是解决的网络故障每天都在经历，每个环境下的网络故障都不一样。每一次失败都是一次经验的积累，可以用经验来总结和消化。
最近这个客户现场网络环境故障个人觉得有一定的总结意义，特此整理发布，供大家讨论。
说明基本信息。
该客户位于深圳的一个工业园区。新办公室的位置发生了变化，新办公室被转移，并且办公室网络被重新规划。整个公共司项目有线点位600，无线WiFi覆盖。一共两层，外网是电信。1000M宽带线路6条，11楼4条，10楼2条，都是拨号ADSL线路，50上行，1000M下行的测速都可以跑千兆宽带。
经过半个月的建设和调试，新的办公网络已经建立，基本网络结构如下：
两层的网络结构是相同的。出口网关做多线拨号聚合和叠加负载。内网被划分为不同业务的vlan，而无线网络是单个网段。内网的所有终端都通过出口路由网关自动获取IP地址并上网，这是典型的网络结构。
但是客户从老办公室搬出来运营了一周左右，发现网络出现重大问题，网络不稳定。上班高峰期外网时断时续，ping外网造成丢包。而且延迟非常大，严重的时候基本无法使用。客户现场投诉，如图：
不稳定的延迟和丢包。
那么问题来了。新建办公室网络调试期间未发现问题。当时我们也是在搬迁前和客户那边的网管做了网络接收验收，都符合要求。但是为什么整体搬迁后网络就失灵了呢？出了什么问题？
看到问题无法远程解决，期间前后去了几次客户现场。经过我的蹲式测试和验证，结果如下：
1.测试本地内网没有异常，内网，没有环路，没有IP地址冲突，也没有arp问题。ping网关测试一切正常，内网对内部服务器的访问也正常。
2.问题出现的时机有点奇怪。早上8点之前，司，很少有人工作，一切正常，没有高峰时间。但是9点左右。-10点，上班高峰时间来了，网络开始出现上图所示。
3.经过测试，从路由的外网端口到运营商的网关IP地址，已经开始不稳定，更不用说访问其他外网资源了，但是还是定位不到具体的链接。中间我还打电话给电信的维师傅检查线路的光衰减情况。-18 和光，也是，很正常，线路也很好。电信的维师傅只能检测和处理线路上和光猫的问题，其他的他们就不知道了。他们只会让你单机测试，单机测试没问题他们就不管了。这不是解决问题的办法。不需要测试单台机器。接到路由电信的维，大师说这是你自己设备的问题。给他看了检测资料，他说正常。
经过一番测试，我发现问题怀疑是光猫，电信的设备但维，师傅说，这是正常的，正常的，正常的.
这个问题已经拖了三个星期了，我在司的老板也生气了。他亲自问我这个项目的进展，发现现在问题出在哪里。我老老实实跟老板说了前因后果，老板也说了一些，不要总怀疑是运营商的问题。你可以找你的老同事学习一下他们的经验，因为当时我还没有成为正式员工，老板也给了一个解决问题的期限。那边的客户也在被网络打，客户那边的老板也坐不住了。电信那边的客户经理口口声声说这边没问题，其实都是设备问题。我们无能为力。作为设备制造商，我们太弱了。我们必须检查任何问题，我们的设备已经被改变。一切都变了，但还是老样子。这时候我私下跟客户的网关说，你怎么不打电话？之后那天就走了，高潮来了。晚上客户那边的网管告诉我，当地的电信经理匿名帮他打了自己的电信投诉电话。明天会有人来查问题，说我明天还要去那里一起解决问题。我的第一感觉是终于得救了，还是要抱怨一下。
第二天，按照约定的时间点，各方人员全部到齐。
这次电信从上一级调了一个解决网络故障的技术支持，而不是冒充维大师当然维大师肯定也到了现场，然后我又解释了一遍前因后果。电信没什么好说的，然后经典来了。该地区的维设计师傅瞧瞧，嘀咕着什么，说他以前遇到过这样的问题，但在没有其他办法的情况下，通过更换一个光猫解决了这个问题，电信公司去了解是否有这样的光猫，当天就发生了这种情况。正好有一个，什么都没说，直接就改了。电信公司进行了一次奇迹般的运作。路由正常拨号连接，获取IP，改变外网的线路策略，让这条线路负载满负荷，然后测试。好了，问题解决了。
">ping测试也不丢包也不抖动，延迟也正常了，稳如老狗QTMD DX
但当天电信只有一台这样的光猫，被换下来的是天邑光猫，电信说是最好的光猫，全千兆的，更换的光猫什么牌子我当时忘记拍照了，当天没多的光猫了，只能下次来更换了，这天是周五，电信在下周一给其他的光猫全部换掉后，这个客户的网络故障问题彻底解决，据后来客户那边网管说，客户的老板给那个装维师傅和片区电信经理足足骂了半天
一句话：因为电信配发的光猫稳定性问题导致外网不稳定，更换后彻底解决
总结：
1、千万不要相信以为所谓的运营商装维师傅有多专业，他们能做也不多，遇到既不负责任也不专业还脸皮厚的装维师傅，直接投诉走起
2、网络故障排查是一个经验积累的过程，需要大量的案例去积累，事后做好归纳总结，经验也不是万能的，经验也有时候会误导
3、别人不相信你的时候，自己要相信自己的判断，大胆假设，小心求证，多多学学
还木有评论哦，快来抢沙发吧~