夜莺-Nightingale
夜莺V8
夜莺V7
项目介绍
功能概览
API
FAQ
部署升级
数据接入
告警管理
数据查看
功能介绍
告警管理
通知管理
通知规则介绍
阿里云短信
Relabel 事件处理
Event Drop 事件处理
Event Update 事件处理
Callback 事件处理
Script 事件处理
Label Enrich 事件处理
AI Summary 事件处理
模板函数
仪表盘
数据源
时序指标
日志分析
告警自愈
基础设施
集成中心
人员组织
系统配置
夜莺V6
项目介绍
架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
users
notify_tpl
board
users
target
target
user_group
user_group_member
task_tpl
task_tpl_host
task_record
sso_config
role
role_operation
recording_rule
notify_tpl
metric_view
datasource
configs
chart_share
busi_group
busi_group_member
builtin_cate
builtin_cate
builtin_cate
builtin_cate
board
board_payload
alerting_engines
alert_subscribe
alert_rule
alert_mute
alert_his_event
alert_cur_event
alert_aggr_view
FAQ
转发数据给多个时序库
机器列表数据异常
数据流图
监控数据时有时无
查询原始监控数据
快捷视图详解
告警自愈模块使用
仪表盘里只展示我的机器
仪表盘里图表数据缺失
设置自定义告警通知方式
target_up指标的问题
夜莺可以监控 x 么
夜莺告警常见问题排查思路
告警和恢复的判断逻辑
容量规划问题
connection refused
登录与认证
数据采集器Categraf
日志写到`/var/log/messages`
告警规则&告警模板如何引用变量
采集到的数据是字符串怎么处理
管理员密码忘记了
制作大盘如何添加图片
添加loki数据源报错
v6小版本升级有什么 sql 要执行吗
机器列表有展示,但采集数据查询不到
n9e 启动异常报错
n9e集群部署配置修改
推送 Promethus 报错 OOO
机器列表怎么忽略云资源
告警规则仅在本业务组生效失败
categraf 启动 oracle 插件报错
告警自愈不生效
n9e查询时序库EOF报错
手动编译项目报错
promQL 使用函数标签信息丢失
内存使用率+可用率不等于100
夜莺仪表盘有哪些内置变量
categraf配置文件支持热加载吗
导入 Grafana 仪表盘无效数据源
如何查看报错消息
采集器-Categraf
插件配置
插件综述
基础指标采集插件
netstat采集插件
netstat_filter采集插件
procstat采集插件
http_response
mysql插件
redis插件
snmp插件
ipmi采集插件
dns_query插件
dcgm插件
nvidia_smi插件
cadvisor采集插件
sshd采集插件
systemd采集插件
smart采集插件
postgresql插件
mongodb插件
elasticsearch采集插件
exec采集插件
emqx采集插件
阿里云指标采集插件
Zabbix 指标转换插件
cloudwatch指标采集插件
google cloud指标采集插件
mtail插件
prometheus采集插件
页面配置采集插件
Flashcat 企业版
开源生态
Telegraf
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
开篇
理解时间序列
Metrics类型
初识PromQL
PromQL操作符
PromQL聚合操作
PromQL内置函数
在HTTP API中使用PromQL
最佳实践:4个黄金指标和USE方法
小结
第3章:Prometheus告警处理
开篇
Prometheus告警简介
自定义Prometheus告警规则
部署Alertmanager
Alertmanager配置概述
基于标签的告警处理路由
使用Receiver接收告警信息
告警模板详解
屏蔽告警通知
使用Recoding Rules优化性能
小结
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
开篇
初识Kubernetes
在Kubernetes下部署Prometheus
Kubernetes下的服务发现
使用Prometheus监控Kubernetes集群
基于Prometheus的弹性伸缩
小结
第9章:Prometheus Operator
参考资料
订阅规则
夜莺监控(Nightingale)中的订阅规则,其菜单入口在:告警-规则管理-订阅规则TAB
。
为何有此设计
夜莺的告警规则中,可以直接配置通知规则,很直观,这个告警规则产生的告警事件就走这个通知规则。Datadog、Open-Falcon 都是类似这样的设计,基本是够用的。但是如果你了解 Zabbix、Prometheus,你会发现,它们产生告警事件之后,要发给谁,其实走的是一个后续订阅的逻辑,即:
- 告警规则中,只定义查询条件、阈值等,即告警规则仅是负责事件产生,至于如何通知、通知给谁,告警规则不管这些
- 用户使用订阅的机制,从所有告警事件中做筛选,对这些筛到的告警事件,指定相关的通知规则(通知给谁、如何通知)
这种方式实际上更灵活,缺点就是不够直观。夜莺呢?两种方式都支持,对于普通用户,优先建议使用“在告警规则中直接配置通知规则”的方式,把“订阅规则”,用在一些相对少见的场景,比如:
- 我的服务依赖了其他服务,这些服务不归我管(这些服务的告警规则通知给它们的负责人,而不是通知给我),但是这些服务如果故障,可能会影响我的服务,所以我希望订阅这些服务的 SLI 相关的告警事件(这是社区某些用户提到的需求场景,虽然写在这里,但是笔者实际不认可请你自行斟酌,笔者认为,每个服务都应该制作一个仪表盘,仪表盘里罗列了依赖的其他服务的 SLI 数据,自己的服务出故障时,应该统一去看这个仪表盘来判断是自身的问题还是依赖的下游服务的问题)
- 某些通用告警规则产生的告警事件,希望分发给不同的人,此时没法在告警规则中直接绑定通知规则,此时可以搭配订阅规则来实现
- 一些全局的操作,比如全局回调,可以通过订阅规则来实现。比如希望:对于系统产生的任何一条告警事件,都要回调某个 Webhook 地址,此时可以配置一个全局的订阅规则,匹配所有的告警事件,然后配置一个 Webhook 通知规则。
💡 请认真阅读上面这段文字,理解订阅规则的设计初衷。非常非常非常重要。
配置方法
订阅规则包含三部分配置:
- 名称:订阅规则的名称,建议使用有意义的名称,让别人一眼看到就知道这个订阅规则是干什么用的,方便维护
- 筛选配置:各个维度筛选告警事件,注意,是筛选告警事件,筛选到的这些告警事件,就会走下面的通知规则
- 通知规则:筛选到的告警事件,走这些通知规则
整体逻辑比较清晰,其中筛选配置的配置项较多,下面逐一介绍。
- 数据源类型:用于筛选告警事件是经由哪个数据源类型产生的
- 数据源:用于筛选告警事件是经由哪个数据源产生的
- 事件等级:用于筛选告警事件的级别,可以选择多个级别,默认全选,相当于
severity in ("Info", "Warning", "Critical")
,全选其实就相当于在“事件等级”这个维度上不做筛选过滤 - 订阅告警规则:用于筛选告警事件是哪个告警规则产生的
- 业务组:用于筛选告警事件是哪个业务组产生的,告警事件肯定是某个告警规则触发的,所以告警事件的业务组就是告警规则所属的业务组(当前版本是v8.0.0,后续会考虑优化这个地方,后续会同时考虑告警事件中的机器所属的业务组)
- 事件标签:用于筛选告警事件的标签,注意运算符的用法,具体解释放在下面
- 订阅事件持续时长:右侧有个小问号的 icon,提供了这个功能的使用说明,这里不再赘述。
上面的各个筛选条件,不同的条目之间整体是 and
的关系,其中事件标签这部分可以配置多个过滤条目,不同条目之间也是 and
的关系,如果你想匹配多个标签值,可以使用 in
操作符,或者使用正则表达式 =~
。
对于运算符,具体解释如下:
==
匹配某个具体的标签值,只能填写一个,如果想同时匹配多个,应该使用in
操作符=~
填写正则表达式,灵活匹配标签值in
匹配多个标签值,类似 SQL 里的in
操作not in
不匹配的标签值,可填写多个,类似 SQL 里的not in
操作,用于排除多个标签值!=
不等于,用于排除特定的某个标签值!~
正则不匹配,填写正则,匹配这个正则的标签值都将被排除,类似 PromQL 中的!~
场景举例:订阅所有时序告警
比如我想订阅所有时序指标相关的告警,然后统一走一个 Webhook 通知规则,用于一些自动化处理逻辑。此时可以配置数据源类型为 Prometheus,事件级别全选,然后其他所有过滤条件都不配置。