监控网络卡顿的排查顺序先记住一句:平均带宽正常不代表没有拥塞,毫秒级微突发才是隐蔽根因。微突发发生在 1 到 100 毫秒内,瞬时速率能冲到平均速率的几十倍甚至超过端口带宽,交换机缓存不够就被打穿丢包,画面表现为偶发卡顿、回放跳帧。回放、多路同屏上墙、平台巡检抓拍最容易触发。定位看出接口丢弃计数与 QoS 丢包告警,缓解靠带宽冗余与优先级标记。

平均带宽正常还卡:微突发在作怪

网管软件看到的平均速率是秒级甚至分钟级统计,一秒钟对高速接口来说很长,瞬时突发被平均掉,曲线平滑,问题就被藏起来了。微突发的瞬时速率远超平均值,多个入端口同时向一个出端口灌流量,或者大带宽端口向小带宽端口转发,出端口来不及发就只能缓存,缓存不够就丢包。

现象 定义 发生窗口
微突发 瞬时速率远超平均、甚至超端口带宽 毫秒级,1 到 100 毫秒
拥塞丢包 缓存不足导致报文被丢弃 突发瞬间
平均速率 秒级或分钟级统计值 常态监控

判断是否微突发,看端口丢弃计数和实时告警,而不是看平均带宽曲线,这是排查方向的关键转折。

监控场景哪些操作会触发突发

监控业务本身的流量特征就带突发性。录像回放、尤其是多路同时回放,瞬间把大量历史码流从存储拉出来推给客户端;多路画面上墙或切换预案,解码器同时取流;平台批量抓拍、AI 分析抽帧也会产生短时高峰。这些操作平时不常见,一旦叠加到实时码流上,就把汇聚链路顶到极限。

  1. 录像回放:多路同时回放,历史码流叠加实时码流;
  2. 画面上墙:预案切换、多路同屏,解码器集中取流;
  3. 平台抓拍:批量抓图与智能分析抽帧,峰值短促;
  4. 夜间红外开启:码率上升,高峰集中在固定时段。

排障时要还原事发时刻的操作,问清楚卡顿时段平台在干什么,比盯着设备面板更有效。

怎么定位:丢包计数、告警与抓包

定位微突发有三层手段,从设备本身查到报文级。出接口的 discard 丢弃计数是直接证据,计数器增长说明该端口发生过拥塞丢包;带网管的交换机看 QoS 丢包告警,能精确定位丢包端口与队列;抓包分析报文时间戳,能看到毫秒级突发与重传。三层证据对上,根因就锁定了。

手段 看什么 结论
端口 discard 计数 丢弃报文数增长 该端口存在拥塞丢包
QoS 丢包告警 丢包队列与速率 定位到端口和队列级别
抓包时间戳 毫秒级突发与重传 确认微突发存在

抓包注意区分,中间跳丢失探测报文不代表转发故障,个别设备对探测报文限速,要看业务报文是否真的丢。

带宽规划要留多少冗余

预防微突发的根子在带宽冗余。行业常见口径:按高峰时段流量预留四成以上冗余带宽,夜间录像回放、早晚高峰都是典型高峰段;汇聚与核心层之间建议万兆光纤,避免单链路成为瓶颈。带宽配置上区分上下行,安防场景存储与录像读取需求大,下行带宽占比建议不低于六成。

规划项 建议口径 说明
高峰冗余 预留四成以上 覆盖回放与巡检高峰
汇聚上联 万兆为主 核心汇聚链路不卡瓶颈
上下行占比 下行不低于六成 适配录像读取为主

带宽计算先按实时码流算基线,再按高峰操作加突发系数,而不是按平均码流乘倍数,这样才贴近真实负载。

缓解手段:QoS 标记与流控

带宽已经定了,缓解突发靠优先级与流控。给视频流做 QoS 标记,实时码流、回放流、管理流量分队列,拥塞时关键视频优先转发;对非核心流量限速,防止批量下载、固件升级这类操作挤占视频通道;端口缓冲不足的上联口,必要时做流控或调整队列深度,具体以交换机型号支持为准。

  1. QoS 标记:视频流高优先级队列,管理流量低优先级;
  2. 限速策略:非核心业务限速,防止挤占;
  3. 缓冲区核对:上联口缓存能力与突发量匹配;
  4. 链路聚合:万兆以下用 LACP 聚合提升上联带宽。

QoS 配置不是一次性到位,上线后按峰值时段实测调队列参数,把参数改成符合现场流量特征的形态。

TL;DR 检查清单

  • 平均带宽正常不代表没拥塞,微突发在毫秒级把缓存打穿;
  • 监控里回放、上墙、批量抓拍最易触发突发,排障先还原事发操作;
  • 定位看端口 discard 计数、QoS 丢包告警与抓包时间戳三层证据;
  • 带宽按高峰预留四成以上冗余,核心汇聚尽量万兆,下行占比不低于六成;
  • 缓解靠 QoS 分队列、非核心限速与上联聚合;
  • 配置后按峰值时段实测,队列参数持续调优。

参考资料

  • surveillance-network-qos-config
  • video-network-link-quality-test