夜莺-Nightingale
夜莺V7
夜莺V6
项目介绍
架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
users
target
user_group
user_group_member
task_tpl
task_tpl_host
task_record
sso_config
role
role_operation
recording_rule
notify_tpl
metric_view
datasource
configs
chart_share
busi_group
busi_group_member
builtin_cate
board
board_payload
alerting_engines
alert_subscribe
alert_rule
alert_mute
alert_his_event
alert_cur_event
alert_aggr_view
FAQ
转发数据给多个时序库
机器列表数据异常
数据流图
监控数据时有时无
查询原始监控数据
快捷视图详解
告警自愈模块使用
仪表盘里只展示我的机器
仪表盘里图表数据缺失
设置自定义告警通知方式
target_up指标的问题
夜莺可以监控 x 么
告警和恢复的判断逻辑
容量规划问题
connection refused
登录与认证
数据采集器Categraf
日志写到`/var/log/messages`
告警规则&告警模板如何引用变量
采集到的数据是字符串怎么处理
管理员密码忘记了
制作大盘如何添加图片
添加loki数据源报错
v6小版本升级有什么 sql 要执行吗
机器列表有展示,但采集数据查询不到
n9e 启动异常报错
n9e集群部署配置修改
推送 Promethus 报错 OOO
机器列表怎么忽略云资源
告警规则仅在本业务组生效失败
categraf 启动 oracle 插件报错
告警自愈不生效
n9e查询时序库EOF报错
手动编译项目报错
promQL 使用函数标签信息丢失
内存使用率+可用率不等于100
夜莺仪表盘有哪些内置变量
categraf配置文件支持热加载吗
导入 Grafana 仪表盘无效数据源
如何查看报错消息
采集器-Categraf
开源生态
Telegraf
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
开篇
理解时间序列
Metrics类型
初识PromQL
PromQL操作符
PromQL聚合操作
PromQL内置函数
在HTTP API中使用PromQL
最佳实践:4个黄金指标和USE方法
小结
第3章:Prometheus告警处理
开篇
Prometheus告警简介
自定义Prometheus告警规则
部署Alertmanager
Alertmanager配置概述
基于标签的告警处理路由
使用Receiver接收告警信息
告警模板详解
屏蔽告警通知
使用Recoding Rules优化性能
小结
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
开篇
初识Kubernetes
在Kubernetes下部署Prometheus
Kubernetes下的服务发现
使用Prometheus监控Kubernetes集群
基于Prometheus的弹性伸缩
小结
第9章:Prometheus Operator
参考资料
活跃告警 & 历史告警
关于告警事件,夜莺分成了两个菜单,一个是活跃告警,用于展示所有当前未恢复的告警事件(一旦告警恢复,就会自动从这里删除),另一个是历史告警,用于展示所有历史事件,包括告警事件和恢复事件。
活跃告警
活跃告警有两个展示方式,一个是聚合卡片,一个是告警列表。如下图,是一个卡片聚合视图页面:
红框中的两个按钮用于切换展示方式。
社区问题比较多的是活跃告警如何配置聚合规则。首先说一下聚合规则的设计初衷:告警事件很多,想要分门别类的查看,这就需要聚合呈现,基于哪些维度来对事件分类呢?一个是事件的属性,比如所属业务组的名称、规则名称、事件级别,另一个是事件标签,比如根据 ident 标签做聚合,则每个机器的告警就会分别聚合为一张卡片。默认安装了之后,会内置两个聚合规则:
- 根据业务组+事件级别做聚合:
field:group_name::field:severity
- 根据告警规则的名称做聚合:
field:rule_name
如果想配置基于某个标签做聚合,就使用 tagkey 做前缀即可(根据属性聚合的话,其前缀是 field,内置的两个规则都是根据属性聚合,多个聚合条件之间用双冒号分隔),举例:根据机器标签 ident 做聚合:tagkey:ident
历史告警
历史告警就是展示所有历史事件,包括告警事件和恢复事件,每个告警事件前面有个色块,绿色表示恢复事件,其他颜色表示告警事件,颜色越深,表示事件级别越高。
活跃告警存储在数据库的 alert_cur_event 表中,历史告警存放在 alert_his_event 表中,alert_his_event 随着时间推移可能会积累越来越多的条目,所以需要定期手工清理,一般来讲,超过 1000 万行就需要清理一下,清理的时候写个小脚本,每次清理 1000 行,保证小事务操作,别不加 limit 一次性删除太多,会锁表。