夜莺-Nightingale
夜莺V7
项目介绍 功能概览
部署升级 部署升级
数据接入 数据接入
告警管理 告警管理
数据查看 数据查看
功能介绍 功能介绍
API FAQ
夜莺V6
项目介绍 架构介绍
快速开始 快速开始
黄埔营
安装部署 安装部署
升级
采集器 采集器
使用手册 使用手册
API API
数据库表结构 数据库表结构
FAQ FAQ
开源生态
Prometheus
版权声明
第1章:天降奇兵 第1章:天降奇兵
第2章:探索PromQL 第2章:探索PromQL
第3章:Prometheus告警处理 第3章:Prometheus告警处理
第4章:Exporter详解 第4章:Exporter详解
第5章:数据与可视化 第5章:数据与可视化
第6章:集群与高可用 第6章:集群与高可用
第7章:Prometheus服务发现 第7章:Prometheus服务发现
第8章:监控Kubernetes 第8章:监控Kubernetes
第9章:Prometheus Operator 第9章:Prometheus Operator
参考资料

告警抑制(商业版)

概述

告警抑制(Inhibit)是一种告警降噪的机制,它能够自动识别和抑制相关联的次要告警,让您专注于处理最重要的问题。当系统出现严重故障时,往往会触发大量的关联告警,告警抑制功能可以帮助您减少不必要的告警噪音,提高故障处理效率。

核心价值

1. 减少告警风暴

当核心服务故障时,依赖它的下游服务也会产生大量告警。告警抑制能够根据配置,自动抑制衍生的次要告警。

2. 聚焦关键问题

通过抑制低优先级告警,让运维人员能够专注于处理高优先级的核心问题,避免被大量告警信息淹没。

使用场景

场景一:按严重级别抑制

问题描述:同一个服务同时触发了 P1、P2、P3 级别的告警,但只想收到最严重的 P1 告警通知。

配置示例

  • 新告警条件:severity >= 2(P2或P3级别)
  • 活跃告警条件:severity = 1(P1级别)
  • 相同项匹配:标签 service、host
  • 效果:当存在 P1 级别告警时,相同服务和主机的 P2、P3 告警将被抑制

场景二:服务依赖链抑制

问题描述:数据库故障导致多个应用服务告警,您希望只收到数据库的告警,抑制应用层的告警。

配置示例

  • 新告警条件:service_type = “application”
  • 活跃告警条件:service_type = “database”
  • 相同项匹配:标签 cluster、env
  • 效果:当数据库层出现告警时,同集群同环境的应用层告警将被抑制

配置步骤

步骤 1:进入事件管道配置

  1. 登录监控平台
  2. 导航至 通知管理 > 编辑通知规则
  3. 点击 事件管道设置 或使用现有管道 事件管道设置

步骤 2:添加抑制处理器

  1. 在处理器管理列表,点击 新增
  2. 选择处理器类型为 Inhibit(告警抑制) UwDceG

步骤 3:配置抑制条件

3.1 设置新告警过滤条件

定义哪些新产生的告警需要被评估是否应该抑制。

配置项说明

  • 标签条件:基于告警标签的过滤条件
    • 示例:severity="warning"priority>=2
  • 属性条件:基于告警属性的过滤条件
    • 示例:业务组="电商平台"

k0AdZW

3.2 设置活跃告警筛选条件

定义什么样的活跃告警会触发抑制机制。

配置项说明

  • 时间窗口:在多少秒内存在符合条件的活跃告警(默认300秒)
  • 标签条件:活跃告警需要满足的标签条件
    • 示例:severity="critical"priority=1
  • 属性条件:活跃告警需要满足的属性条件

Yc6csi

3.3 配置匹配规则

定义新告警和活跃告警之间需要有哪些相同的标签或属性。

关键配置

  • 相同标签:需要完全匹配的标签键
    • 常用标签:service、host、cluster、env、region
  • 相同属性:需要完全匹配的属性
    • 常用属性:业务组、数据源

RDEec1

步骤 4:测试配置

  1. 点击处理器卡片右下角的 测试 按钮
  2. 选择或输入测试用的告警事件
  3. 查看处理结果,确认抑制逻辑是否符合预期

步骤 5:保存并启用

  1. 确认所有配置无误后,点击 保存
  2. 确保事件管道状态为 启用
  3. 配置将立即生效

高级技巧

1. 组合使用多个处理器

您可以在同一个事件管道中组合使用多个处理器,例如:

  • 先使用 Relabel 处理器规范化标签
  • 再使用 Inhibit 处理器进行告警抑制
  • 最后使用 AI Summary 生成告警摘要

2. 分层抑制策略

对于复杂的系统架构,可以创建多层抑制策略:

  • 基础设施层:网络、存储告警抑制主机告警
  • 平台层:数据库、中间件告警抑制应用告警
  • 应用层:核心服务告警抑制边缘服务告警

常见问题

Q1: 告警被误抑制了怎么办?

A: 请检查以下几点:

  1. 查看抑制条件是否过于宽泛
  2. 确认标签匹配是否正确
  3. 检查时间窗口设置是否合理
  4. 使用测试功能验证配置

Q2: 如何查看被抑制的告警?

A: 被抑制的告警会在事件详情的通知记录中现在被抑制,您可以:

  1. 打开对应的告警事件详情页面
  2. 点击下面的通知记录,可以查看是否被抑制

Q3: 抑制规则的优先级如何确定?

A: 当配置多个抑制处理器时:

  1. 按照处理器在管道中的顺序依次执行
  2. 一旦告警被抑制,后续的抑制处理器将不再处理
  3. 可以通过拖拽调整处理器顺序
快猫星云 联系方式 快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云
OpenSource
开源版
Flashcat
Flashcat