什么是告警降噪
告警降噪是指在运维监控中，通过聚合、抑制、收敛等策略减少无用或重复告警的干扰，避免告警泛滥，确保运维人员只接收到关键信息。降噪可以减少对值班人员的打扰，同时确保他们能及时处理真正重要的告警事件。
换句话说，告警降噪不是为了“让告警变少”这个数字本身，而是为了让 OnCall 人员在正确时间看到正确事件。好的降噪策略应该同时满足两点：减少重复通知，不遗漏关键风险。
为什么要做告警降噪
随着企业的业务系统逐渐复杂化和规模扩大，监控系统成为运维保障中不可或缺的一部分。然而，伴随着监控的深入，系统告警的数量急剧增加，特别是在突发故障或性能波动时，告警信息可能会呈现“告警风暴”现象：短时间内产生大量的告警通知，运维研发团队容易被信息淹没，导致关键告警被忽略或处理延迟。为了解决这一问题，告警降噪技术应运而生，帮助运维人员过滤、整合告警信息，减少无效通知，提高问题处理效率。
告警降噪适用场景
- 告警风暴：同一问题多次触发告警或有大量告警在短时间内触发（如网络或服务故障），通过降噪可以聚合这类告警，避免将大量告警通知同时发送给处理人员，减轻他们的压力 。
- 告警抑制：某些监控场景下，会有不同优先级的告警。例如同时触发了高优先级和低优先级告警，可以通过降噪策略只发送高优先级告警，避免不必要的干扰 。
- 预期内告警：在系统定期维护或变更期间，可能会产生大量预期内的告警。如果不采取有效措施，这些已知的告警也会被发送，尽管它们并不需要实际处理，所以很有必要对这类告警做降噪处理。
| 场景 | 常见表现 | 推荐处理方式 |
|---|---|---|
| 告警风暴 | 同一故障短时间触发大量通知 | 聚合、收敛、按故障事件通知 |
| 告警抑制 | 高低优先级告警同时出现 | 保留高优先级通知，抑制低优先级重复打扰 |
| 预期内告警 | 维护、变更、演练期间产生告警 | 静默或维护窗口策略 |
| 重复告警 | 同一对象反复触发相同规则 | 按对象、规则、时间窗口聚合 |
| 上下游连锁告警 | 下游故障导致多个上游同时异常 | 通过标签、依赖关系和事件关联辅助判断主事件 |
告警降噪产品选型
做告警降噪产品选型时，不建议只看“能不能接收告警”。更关键的是看它能否支撑完整 OnCall 流程，包括告警接入、聚合、抑制、静默、分派、升级、协同和统计分析。
- PagerDuty：作为行业先驱，PagerDuty 以调度能力和集成生态著称，尤其在自动化响应、大规模企业级部署方面有较多实践。
- Flashduty：由夜莺团队自主研发的统一告警 On-Call 平台，更注重本地化服务与适应中国企业，在统一告警分发、告警聚合、智能分派等方面有实践积累。
Flashduty 的降噪实践
案例一
某头部智驾芯片制造商在车机系统监控中需要对各个硬件进行分类监控，每类硬件可能有不同的告警策略。例如 CPU 负载类监控包含 CPU 整体使用率、CPU 单核使用率、CPU steal 过高、CPU 温度、风扇转速等指标。
在没有告警降噪时，经常会因为某一个问题引发大面积告警，同时向工作人员发送大量通知。长期下来，工作人员容易疲劳，对告警敏感度下降，进而出现漏掉关键告警的情况。为了避免这种情况，Flashduty 为其提供了告警聚合方案，将相同特征的事件合并为同一事件，既不忽略告警，也降低告警风暴对人员的打扰。
未配置降噪时：每个告警都是独立故障，且基本都是同种类型，每发生一个就向工作人员发送一次。
降噪效果：将同类型告警聚合为一个故障，且只向工作人员发送一次通知（下图中关联告警指的是将33个相似告警聚合为一个故障）。
案例二
某知名餐饮连锁企业的特点是门店众多，全国有上千家门店。中心化业务一旦出现告警，可能影响大部分门店。以往只要出现这类问题，即使运维人员已经收到告警并开始处理，监控系统仍会不断发送后续影响门店的告警，让运维人员难以专注处理主故障，还要持续关注是否有其他告警。
为了解决这一问题，Flashduty 向其提供了告警聚合、静默策略等手段，避免类似情况反复打扰。
降噪效果：通过几天的观察，降噪效果突出明显（降噪比83.14% ，即应发100条件通知，通过降噪实际只发了17条通知）。
总结
过多告警会干扰处理人员。尤其当 OnCall 人员已经开始排查时，重复发送同类告警并不会增加有效信息，只会分散注意力。告警降噪要解决的正是这个问题：把重复、相似、预期内、低价值的通知控制住，让真正重要的故障事件被及时看到和处理。
Flashduty 的价值不只是减少通知数量，还包括统一告警接入、聚合、静默、分派、协同和统计分析。对于已经有多个监控系统、告警来源复杂、电话短信成本较高的团队，告警降噪通常是提升 OnCall 体验和响应质量的关键抓手。了解更多 Flashduty 产品信息。
FAQ
Q1：告警降噪会不会让重要告警被吞掉？
A：合理的降噪策略不应该吞掉关键告警，而应该保留主事件和子告警明细。风险来自粗暴静默或屏蔽，所以策略需要可追溯、可验证、可回滚。
Q2：告警聚合和告警抑制有什么区别？
A：聚合是把相似告警合并成一个事件；抑制是在满足条件时不发送某些低优先级或附属告警通知。二者可以配合使用。
Q3：如何判断降噪是否有效？
A：不能只看通知数量下降，还要看关键告警是否被及时响应、MTTA/MTTR 是否改善、TopK 重复告警是否减少、值班人员是否还能看到完整上下文。
