夜莺-Nightingale
夜莺V7
夜莺V6
项目介绍
架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
users
target
user_group
user_group_member
task_tpl
task_tpl_host
task_record
sso_config
role
role_operation
recording_rule
notify_tpl
metric_view
datasource
configs
chart_share
busi_group
busi_group_member
builtin_cate
board
board_payload
alerting_engines
alert_subscribe
alert_rule
alert_mute
alert_his_event
alert_cur_event
alert_aggr_view
FAQ
转发数据给多个时序库
机器列表数据异常
数据流图
监控数据时有时无
查询原始监控数据
快捷视图详解
告警自愈模块使用
仪表盘里只展示我的机器
仪表盘里图表数据缺失
设置自定义告警通知方式
target_up指标的问题
夜莺可以监控 x 么
告警和恢复的判断逻辑
容量规划问题
connection refused
登录与认证
数据采集器Categraf
日志写到`/var/log/messages`
告警规则&告警模板如何引用变量
采集到的数据是字符串怎么处理
管理员密码忘记了
制作大盘如何添加图片
添加loki数据源报错
v6小版本升级有什么 sql 要执行吗
机器列表有展示,但采集数据查询不到
n9e 启动异常报错
n9e集群部署配置修改
推送 Promethus 报错 OOO
机器列表怎么忽略云资源
告警规则仅在本业务组生效失败
categraf 启动 oracle 插件报错
告警自愈不生效
n9e查询时序库EOF报错
手动编译项目报错
promQL 使用函数标签信息丢失
内存使用率+可用率不等于100
夜莺仪表盘有哪些内置变量
categraf配置文件支持热加载吗
导入 Grafana 仪表盘无效数据源
如何查看报错消息
采集器-Categraf
开源生态
Telegraf
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
开篇
理解时间序列
Metrics类型
初识PromQL
PromQL操作符
PromQL聚合操作
PromQL内置函数
在HTTP API中使用PromQL
最佳实践:4个黄金指标和USE方法
小结
第3章:Prometheus告警处理
开篇
Prometheus告警简介
自定义Prometheus告警规则
部署Alertmanager
Alertmanager配置概述
基于标签的告警处理路由
使用Receiver接收告警信息
告警模板详解
屏蔽告警通知
使用Recoding Rules优化性能
小结
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
开篇
初识Kubernetes
在Kubernetes下部署Prometheus
Kubernetes下的服务发现
使用Prometheus监控Kubernetes集群
基于Prometheus的弹性伸缩
小结
第9章:Prometheus Operator
参考资料
回调地址对接方式
概述
回调地址用于在告警触发时,通过 HTTP 调用,将告警信息发送外部服务,帮助我们实现告警信息与第三方服务或自定义应用的集成,提高告警处理的自动化程度和团队协作效率,回调地址主要有下面几个使用场景
- 与第三方服务集成:回调地址可以将告警信息发送到第三方服务,如内部的事件 OnCall 平台,FlashDuty 等。FlashDuty 是快猫团队提供的事件 OnCall 产品,欢迎试用体验,实现告警聚合降噪、排班、认领、升级、协同处理一站式管理。
- 自动化处理:回调地址允许自定义应用接收告警信息,并根据告警内容自动执行相应的操作,如自动扩容、故障切换等。
- 自定义通知方式:通过回调地址,我们可以根据需求定制自己公司内部的告警通知发送方式,如发送到企业内部的 IM 。 在夜莺中除了可以在单个告警规则中配置回调地址,还支持在通知设置页面,配置全局的回调地址。
请求方法
在告警事件生成后,告警引擎会根据回调地址的配置,使用 HTTP POST 方法发送请求,并且请求体采用 JSON 格式。需要注意的是,在目前版本单个告警规则配置的回调地址,其请求超时时间默认是5秒,并且会在请求失败后间隔200毫秒重试,最多重试3次;而全局回调地址会根据配置来请求。
传递的字段
回调地址服务在请求中传递了告警事件对象(AlertCurEvent),您可以参考最新的 AlertCurEvent 结构体来定义。
- id: 整数类型,表示事件的 ID。
- cate: 字符串类型,表示数据源类型(host,prometheus 等)。
- cluster: 字符串类型,表示所属的集群。
- datasource_id: 整数类型,表示数据源的 ID。
- group_id: 整数类型,表示业务组 ID。
- group_name: 字符串类型,表示业务组名称。
- hash: 字符串类型,表示事件的哈希值( ruleId + labels + datasourceId + severity + promQl )。
- rule_id: 整数类型,表示告警规则的 ID。
- rule_name: 字符串类型,表示规则的名称。
- rule_note: 字符串类型,表示规则的备注。
- rule_prod: 字符串类型,表示规则的类型(host,metric)。
- severity: 整数类型,表示事件的级别 (1,2,3)。
- prom_for_duration: 整数类型,表示规则持续时长,单位秒。
- prom_ql: 字符串类型,表示 promQl 查询语句。
- rule_config: JSON 对象,包含告警规则的配置信息。
- prom_eval_interval: 整数类型,表示执行频率,单位秒。
- callbacks: 数组类型,表示回调地址。
- notify_recovered: 整数类型,表示是否发送恢复通知,0否1是。
- notify_channels: 数组类型,表示通知的媒介标识。
- notify_groups: 数组类型,表示告警接收组的 ID。
- notify_groups_obj: JSON 数组,包含告警接收组的详细信息。
- target_ident: 字符串类型,表示目标机器唯一标识信息。
- target_note: 字符串类型,表示目标的备注。
- trigger_time: 整数类型,表示告警时间戳。
- trigger_value: 字符串类型,表示告警触发值。
- tags: 数组类型,表示标签。
- tags_map: JSON 对象,包含标签的映射。
- annotations: JSON 对象,包含附加信息。
- is_recovered: 布尔类型,表示是否恢复。
- notify_users_obj: JSON 数组,包含通知用户的详细信息。
- last_eval_time: 整数类型,表示最后评估时间。
- last_escalation_notify_time: 整数类型,表示告警升级通知最后时间。
- last_sent_time: 整数类型,表示最后发送告警时间。
- notify_cur_number: 整数类型,表示当前告警通知发送次数。
- first_trigger_time: 整数类型,表示首次告警触发时间。
- extra_config: JSON 对象,表示告警规则额外的配置信息。
- claimant: 字符串类型,表示认领人。
- sub_rule_id: 整数类型,表示订阅规则的 ID。
以下是一个告警事件对象的 JSON 结构示例:
{
"id": 68148,
"cate": "prometheus",
"cluster": "test",
"datasource_id": 1,
"group_id": 1,
"group_name": "A Group",
"hash": "db8867ab548e39202",
"rule_id": 4,
"rule_name": "cpu_usage_active10",
"rule_note": "",
"rule_prod": "metric",
"severity": 3,
"prom_for_duration": 30,
"prom_ql": "cpu_usage_active10>1",
"rule_config": {
"queries": [
{
"keys": {
"labelKey": "",
"valueKey": ""
},
"prom_ql": "cpu_usage_active10>1",
"severity": 2
},
{
"keys": {
"labelKey": "",
"valueKey": ""
},
"prom_ql": "cpu_usage_active10>2",
"severity": 2
},
{
"keys": {
"labelKey": "",
"valueKey": ""
},
"prom_ql": "cpu_usage_active10>3",
"severity": 1
}
]
},
"prom_eval_interval": 15,
"callbacks": [],
"notify_recovered": 1,
"notify_channels": [
"dingtalk",
"chat"
],
"notify_groups": [
"1"
],
"notify_groups_obj": [
{
"id": 1,
"name": "a-group",
"note": "",
"create_at": 1692949700,
"create_by": "root",
"update_at": 1692949700,
"update_by": "root"
}
],
"target_ident": "dev-192.10.21.111",
"target_note": "",
"trigger_time": 1700125400,
"trigger_value": "20.82006",
"tags": [
"__name__=cpu_usage_active10",
"cpu=cpu-total",
"host=test",
"ident=dev-192.10.21.111",
"rulename=cpu_usage_active10"
],
"tags_map": {
"__name__": "cpu_usage_active10",
"cpu": "cpu-total",
"host": "test",
"ident": "dev-192.10.21.111",
"rulename": "cpu_usage_active10"
},
"annotations": {},
"is_recovered": false,
"notify_users_obj": [
{
"id": 1,
"username": "root",
"nickname": "\u8d85\u7ba1",
"phone": "1666666666",
"email": "888888@888.com",
"portrait": "/image/avatar1.png",
"roles": [
"Admin"
],
"contacts": {
"dingtalk_robot_token": "https://oapi.dingtalk.com/robot/send?access_token=dingdddddding"
},
"maintainer": 0,
"create_at": 1692949000,
"create_by": "root",
"update_at": 1698999000,
"update_by": "root",
"admin": true
}
],
"last_eval_time": 1700125000,
"last_escalation_notify_time": 0,
"last_sent_time": 1700125000,
"notify_cur_number": 16,
"first_trigger_time": 1700123600,
"extra_config": {},
"claimant": "",
"sub_rule_id": 2
}
总结
通过本文档,描述了回调地址服务应该如何对接。祝您在对接回调地址服务时顺利进行!