连不上。用户投诉就这么开始的——延迟飙高，业务打烊。问题必须被快速定位并明确该如何报警。

核心问题与目标：把握故障的可观测维度与响应节奏

一句话说明目标：建立针对香港CN2的延迟可观测体系，做到“定位在1跳内、告警在90秒内、恢复路径优先级可执行”。

在实际项目落地中，我们把目标拆成三条：测量（RTT/抖动/丢包）、诊断（Traceroute/MPLS/BGP路由比对）、响应（告警分级与自动化）。不少同行反馈：单纯看ICMP RTT容易被误导，必须结合TCP握手与应用层探测。

一句话总结：要把握“测量、诊断、响应”三角，才不会每天被噪声唤醒。下一段讲指标清单。

指标集合：哪些量要持续采集与存储（边界50–100分钟级）

指标首句：必须持续采集RTT、抖动（jitter）、丢包率、TCP三次握手时延、应用层首包时延（TTFB）以及BGP路径变化次数，形成多维画像。

具体项列举如下：

• ICMP RTT：快速基线；易被丢弃，作为初筛。
• TCP SYN/ACK RTT：更接近真实用户体验，端口与服务相关。
• 应用层 TTFB：判断是否为链路还是服务端问题。
• 丢包率（1m/5m/15m）：>1%需关注，>3%需报警。
• 抖动（Jitter）：语音/实时业务敏感，>30ms为风险域。
• BGP 路由变更计数：短时间内多次 flapping 指向上游不稳。

我们通常用Prometheus抓指标，Grafana展现，结合MTR/Traceroute做点对点钻取；接下来说采集与工具。

采集方法与工具建议：端到端与点对点结合

一句话说明：混合采集——探针端（边缘香港节点）做主动探测，核心NOC做被动采集（NetFlow/sFlow/SNMP），二者互证最快。

在多数场景下，采用以下组合最稳：Prometheus node_exporter + blackbox_exporter 做ICMP/TCP/HTTP探测，部署MTR定时任务做多点Traceroute，NetFlow用于流量异常核对，BGP监控（BGPmon或路由反射日志）用于路径突变告警。不少工程师会并行使用Zabbix做阈值告警，因为它对历史阈值回溯友好。

核心结论：主动探测发现问题，被动流量与路由日志确认路径，两者合并可快速定位到“是链路还是上游”。下一步进入告警策略设计。

报警策略设计：分级、抑制与自动化执行路径

一句话答案：按严重性分三级告警（警告/重要/紧急），使用短时窗口触发并结合路由与流量验证，避免噪声告警并缩短响应链路。

策略要点：

• 短期波动不立即升级——例如RTT突增30%但丢包<0.5%，先标记为“警告”，等待3×探测周期复核。
• 丢包+抖动同时异常直接触发“重要”或“紧急”。
• BGP路由变更配合RTT上升：优先级+1，立刻通知路由团队。
• 告警抑制：维护窗口、白名单IP与下游回滚期间自动抑制。
• 自动化回收：当连续5次探测恢复到阈值内，自动关闭告警并写入事件单。

一句高度总结：把“噪声过滤”和“路线验证”嵌入告警决策，才能减少误报并提高MTTR。下一段给出落地流程。

落地步骤（H3为可执行清单）

第一步：快速建立基线并标注异常阈值

一句话说明：用7天历史数据建立小时粒度基线，计算平均与95百分位，作为阈值参考，而非硬编码固定值。

操作要点：部署探针、收集7×24小时数据，生成RTT_mean、RTT_p95、loss_p95。根据业务分层（实时/非实时）来调整阈值。经验句：我们发现香港CN2白天峰值常比午夜高20%~40%，用百分位比绝对值更可靠。

第二步：配置告警规则并加入路由验证链

一句话说明：在告警规则中加入Traceroute快照与BGP变更校验，任何重要告警都自动附带事件追踪图谱。

实现：Prometheus Alertmanager + webhook触发脚本抓取当前MTR、BGP table snapshot、NetFlow样本并推送到工单系统（如ServiceNow）。这样值班人员一眼知道“是哪跳、不稳还是对端”。

第三步：持续优化与误报剔除

一句话说明：每月做一次告警回溯（告警-是否真实-修正阈值），通过反向排除法剔除常见误区。

注意事项：不要一味降低阈值；记录每次自动恢复的时间点，标注为“噪声”或“真实事件”以便模型学习。下一节给出最终可落地的Checklist。

可落地Checklist：部署到运维的下一步行动

一句话说明：照着这份清单一步步做，能在两周内从无监控到可用的延迟报警体系。

• 部署探针：香港至少3个点位（电信/联通/移动或不同机房）。
• 接入数据平台：Prometheus+Grafana，写入blackbox_exporter探测仪表盘。
• 配置初始阈值：基于7天p95数据填表格。
• 实现告警链路：Alertmanager->Webhook->自动抓取Traceroute/BGP快照。
• 每周回顾：标注误报并调整探测周期与阈值。

结尾结论句：按此流程实施，能显著降低因CN2延迟引发的运维噪声，并把故障定位时间缩短到可操作的水平。上面这些步骤即可立即执行。

来源：香港cn2延迟 监控指标设置与报警策略推荐