夜莺-Nightingale
夜莺V6
项目介绍 架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
FAQ
开源生态
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
第3章:Prometheus告警处理
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
第9章:Prometheus Operator
参考资料

回调地址对接方式

概述

回调地址用于在告警触发时,通过 HTTP 调用,将告警信息发送外部服务,帮助我们实现告警信息与第三方服务或自定义应用的集成,提高告警处理的自动化程度和团队协作效率,回调地址主要有下面几个使用场景

  • 与第三方服务集成:回调地址可以将告警信息发送到第三方服务,如内部的事件 OnCall 平台,FlashDuty 等。FlashDuty 是快猫团队提供的事件 OnCall 产品,欢迎试用体验,实现告警聚合降噪、排班、认领、升级、协同处理一站式管理。
  • 自动化处理:回调地址允许自定义应用接收告警信息,并根据告警内容自动执行相应的操作,如自动扩容、故障切换等。
  • 自定义通知方式:通过回调地址,我们可以根据需求定制自己公司内部的告警通知发送方式,如发送到企业内部的 IM 。 在夜莺中除了可以在单个告警规则中配置回调地址,还支持在通知设置页面,配置全局的回调地址。

请求方法

在告警事件生成后,告警引擎会根据回调地址的配置,使用 HTTP POST 方法发送请求,并且请求体采用 JSON 格式。需要注意的是,在目前版本单个告警规则配置的回调地址,其请求超时时间默认是5秒,并且会在请求失败后间隔200毫秒重试,最多重试3次;而全局回调地址会根据配置来请求。

传递的字段

回调地址服务在请求中传递了告警事件对象(AlertCurEvent),您可以参考最新的 AlertCurEvent 结构体来定义。

  • id: 整数类型,表示事件的 ID。
  • cate: 字符串类型,表示数据源类型(host,prometheus 等)。
  • cluster: 字符串类型,表示所属的集群。
  • datasource_id: 整数类型,表示数据源的 ID。
  • group_id: 整数类型,表示业务组 ID。
  • group_name: 字符串类型,表示业务组名称。
  • hash: 字符串类型,表示事件的哈希值( ruleId + labels + datasourceId + severity + promQl )。
  • rule_id: 整数类型,表示告警规则的 ID。
  • rule_name: 字符串类型,表示规则的名称。
  • rule_note: 字符串类型,表示规则的备注。
  • rule_prod: 字符串类型,表示规则的类型(host,metric)。
  • severity: 整数类型,表示事件的级别 (1,2,3)。
  • prom_for_duration: 整数类型,表示规则持续时长,单位秒。
  • prom_ql: 字符串类型,表示 promQl 查询语句。
  • rule_config: JSON 对象,包含告警规则的配置信息。
  • prom_eval_interval: 整数类型,表示执行频率,单位秒。
  • callbacks: 数组类型,表示回调地址。
  • notify_recovered: 整数类型,表示是否发送恢复通知,0否1是。
  • notify_channels: 数组类型,表示通知的媒介标识。
  • notify_groups: 数组类型,表示告警接收组的 ID。
  • notify_groups_obj: JSON 数组,包含告警接收组的详细信息。
  • target_ident: 字符串类型,表示目标机器唯一标识信息。
  • target_note: 字符串类型,表示目标的备注。
  • trigger_time: 整数类型,表示告警时间戳。
  • trigger_value: 字符串类型,表示告警触发值。
  • tags: 数组类型,表示标签。
  • tags_map: JSON 对象,包含标签的映射。
  • annotations: JSON 对象,包含附加信息。
  • is_recovered: 布尔类型,表示是否恢复。
  • notify_users_obj: JSON 数组,包含通知用户的详细信息。
  • last_eval_time: 整数类型,表示最后评估时间。
  • last_escalation_notify_time: 整数类型,表示告警升级通知最后时间。
  • last_sent_time: 整数类型,表示最后发送告警时间。
  • notify_cur_number: 整数类型,表示当前告警通知发送次数。
  • first_trigger_time: 整数类型,表示首次告警触发时间。
  • extra_config: JSON 对象,表示告警规则额外的配置信息。
  • claimant: 字符串类型,表示认领人。
  • sub_rule_id: 整数类型,表示订阅规则的 ID。

以下是一个告警事件对象的 JSON 结构示例:

{
        "id": 68148,
        "cate": "prometheus",
        "cluster": "test",
        "datasource_id": 1,
        "group_id": 1,
        "group_name": "A Group",
        "hash": "db8867ab548e39202",
        "rule_id": 4,
        "rule_name": "cpu_usage_active10",
        "rule_note": "",
        "rule_prod": "metric",
        "severity": 3,
        "prom_for_duration": 30,
        "prom_ql": "cpu_usage_active10>1",
        "rule_config": {
            "queries": [
                {
                    "keys": {
                        "labelKey": "",
                        "valueKey": ""
                    },
                    "prom_ql": "cpu_usage_active10>1",
                    "severity": 2
                },
                {
                    "keys": {
                        "labelKey": "",
                        "valueKey": ""
                    },
                    "prom_ql": "cpu_usage_active10>2",
                    "severity": 2
                },
                {
                    "keys": {
                        "labelKey": "",
                        "valueKey": ""
                    },
                    "prom_ql": "cpu_usage_active10>3",
                    "severity": 1
                }
            ]
        },
        "prom_eval_interval": 15,
        "callbacks": [],
        "notify_recovered": 1,
        "notify_channels": [
            "dingtalk",
            "chat"
        ],
        "notify_groups": [
            "1"
        ],
        "notify_groups_obj": [
            {
                "id": 1,
                "name": "a-group",
                "note": "",
                "create_at": 1692949700,
                "create_by": "root",
                "update_at": 1692949700,
                "update_by": "root"
            }
        ],
        "target_ident": "dev-192.10.21.111",
        "target_note": "",
        "trigger_time": 1700125400,
        "trigger_value": "20.82006",
        "tags": [
            "__name__=cpu_usage_active10",
            "cpu=cpu-total",
            "host=test",
            "ident=dev-192.10.21.111",
            "rulename=cpu_usage_active10"
        ],
        "tags_map": {
            "__name__": "cpu_usage_active10",
            "cpu": "cpu-total",
            "host": "test",
            "ident": "dev-192.10.21.111",
            "rulename": "cpu_usage_active10"
        },
        "annotations": {},
        "is_recovered": false,
        "notify_users_obj": [
            {
                "id": 1,
                "username": "root",
                "nickname": "\u8d85\u7ba1",
                "phone": "1666666666",
                "email": "888888@888.com",
                "portrait": "/image/avatar1.png",
                "roles": [
                    "Admin"
                ],
                "contacts": {
                    "dingtalk_robot_token": "https://oapi.dingtalk.com/robot/send?access_token=dingdddddding"
                },
                "maintainer": 0,
                "create_at": 1692949000,
                "create_by": "root",
                "update_at": 1698999000,
                "update_by": "root",
                "admin": true
            }
        ],
        "last_eval_time": 1700125000,
        "last_escalation_notify_time": 0,
        "last_sent_time": 1700125000,
        "notify_cur_number": 16,
        "first_trigger_time": 1700123600,
        "extra_config": {},
        "claimant": "",
        "sub_rule_id": 2
    }

总结

通过本文档,描述了回调地址服务应该如何对接。祝您在对接回调地址服务时顺利进行!

开源版
Flashcat
Flashduty