采集器-Categraf
总体介绍
安装部署
主配置文件
日志采集
内置Prometheus agent mode
Trace采集
高级配置
插件配置
插件综述 基础指标采集插件 exec采集插件 netstat采集插件 procstat采集插件 snmp插件 ipmi采集插件 nvidia_smi插件 cadvisor采集插件 smart采集插件 mysql插件 postgresql插件 mongodb插件 阿里云指标采集插件 cloudwatch指标采集插件 google cloud指标采集插件 mtail插件 prometheus采集插件 页面配置采集插件
夜莺-Nightingale
夜莺V7
项目介绍 功能概览
部署升级
部署说明 老版本升级 附：Docker Compose 附：二进制部署 附：Prometheus 部署 附：部署采集器 附：边缘机房部署
数据接入
数据源接入 导入仪表盘 数据采集
告警管理
快速入门 PromQL 邮件推送 企微推送 钉钉推送 回调推送 脚本推送 自定义通知模板 告警屏蔽 告警事件 告警自愈
数据查看
即时查询 仪表盘
FAQ
夜莺V6
项目介绍 架构介绍
快速开始
最快速体验
黄埔营
安装部署
部署说明 Docker Compose 高级部署方案 附：Prometheus 部署
升级
采集器
概述 Categraf Datadog-agent Falcon插件 Grafana-agent Telegraf
使用手册
仪表盘
仪表盘 图表配置
告警管理
告警规则 内置规则 告警屏蔽 告警订阅 活跃告警 历史告警 通知媒介
时序指标
即时查询 快捷视图 记录规则
日志分析
即时查询
基础设施
机器列表 采集配置
告警自愈 人员组织 数据源 通知配置 通知模板 单点登录 ES日志监控（专业版） 自监控 权限管理
API
数据读取 数据推送 操作类接口 回调地址对接方式
数据库表结构
alert_aggr_view alert_cur_event alert_his_event alert_mute alert_rule alert_subscribe alerting_engines board board_payload builtin_cate busi_group busi_group_member chart_share configs datasource metric_view notify_tpl recording_rule role role_operation sso_config target task_record task_tpl task_tpl_host user_group user_group_member users
FAQ
转发数据给多个时序库 机器列表数据异常 数据流图 监控数据时有时无 查询原始监控数据 快捷视图详解 告警自愈模块使用 仪表盘里只展示我的机器 仪表盘里图表数据缺失 设置自定义告警通知方式 target_up指标的问题 夜莺可以监控 x 么 告警和恢复的判断逻辑 容量规划问题 connection refused 登录与认证 数据采集器Categraf 日志写到`/var/log/messages` 告警规则&告警模板如何引用变量 采集到的数据是字符串怎么处理 管理员密码忘记了 制作大盘如何添加图片 添加loki数据源报错 v6小版本升级有什么 sql 要执行吗 机器列表有展示，但采集数据查询不到 n9e 启动异常报错 n9e集群部署配置修改 告警触发/恢复的值怎么获取 推送 Promethus 报错 OOO 机器列表怎么忽略云资源 告警规则仅在本业务组生效失败 categraf 启动 oracle 插件报错 告警自愈不生效 n9e查询时序库EOF报错 手动编译项目报错 promQL 使用函数标签信息丢失 内存使用率+可用率不等于100 夜莺仪表盘有哪些内置变量 categraf配置文件支持热加载吗 导入 Grafana 仪表盘无效数据源
夜莺V5
项目介绍 藏经阁
安装部署
事前必读 Docker Compose 方式 Helm 方式 二进制方式 VictoriaMetrics 告警自愈模块
采集器
Categraf Datadog-agent Falcon插件 Grafana-agent Telegraf
使用手册
SNMP 应用监控 Mtail日志监控 JVM监控 钉钉告警 电话短信告警 告警通知 告警格式 Relabel 自监控
API
数据读取 数据推送 Webapi接口
夜莺专业版
总体介绍
智能告警插件
夜莺智能告警插件
日志告警插件
夜莺ES日志告警 从日志中提取指标
Flashcat 企业版
总体介绍
北极星
简介 落地步骤 最佳实践 SLA管理实践
灭火图
简介 落地步骤 最佳实践
事件墙
简介 落地步骤 最佳实践
日志分析
简介 落地步骤 最佳实践
开源生态
Telegraf
介绍、安装、初步测试 CPU、MEM、DISK、IO插件 kernel、system、processes插件 exec、net、netstat插件 端口监控、TCP探测 PING、Procstat插件
Prometheus
版权声明
第1章:天降奇兵
开篇 Prometheus简介
初识Prometheus
安装Prometheus Server 使用Node Exporter采集主机数据 使用PromQL查询监控数据 使用Grafana创建可视化Dashboard
任务和实例 Prometheus核心组件讲解 小结
第2章:探索PromQL
开篇 理解时间序列 Metrics类型 初识PromQL PromQL操作符 PromQL聚合操作 PromQL内置函数 在HTTP API中使用PromQL 最佳实践：4个黄金指标和USE方法 小结
第3章:Prometheus告警处理
开篇 Prometheus告警简介 自定义Prometheus告警规则 部署Alertmanager Alertmanager配置概述 基于标签的告警处理路由
使用Receiver接收告警信息
概述 与SMTP邮件集成 与Slack集成 与企业微信集成 集成钉钉：基于Webhook的扩展
告警模板详解 屏蔽告警通知 使用Recoding Rules优化性能 小结
第4章:Exporter详解
开篇 Exporter是什么
常用Exporter
容器监控：cAdvisor 使用 Prometheus 监控 MySQL 运行状态：MySQLD Exporter 网络探测：Blackbox Exporter
使用Java自定义Exporter
使用Client Java构建Exporter程序 在应用中内置Prometheus支持
小结
第5章:数据与可视化
开篇 使用Console Template Grafana基本概念
Grafana与数据可视化
概述 变化趋势：Graph面板 分布统计：Heatmap面板 当前状态：SingleStat面板
模板化Dashboard 小结
第6章:集群与高可用
开篇 Prometheus 本地存储 Prometheus 远程存储 Prometheus 联邦集群 Prometheus 高可用 Alertmanager 高可用 小结
第7章:Prometheus服务发现
开篇 Prometheus与服务发现 基于文件的服务发现 基于Consul的服务发现 服务发现与Relabeling 小结
第8章:监控Kubernetes
开篇 初识Kubernetes 在Kubernetes下部署Prometheus Kubernetes下的服务发现 使用Prometheus监控Kubernetes集群 基于Prometheus的弹性伸缩 小结
第9章:Prometheus Operator
开篇 什么是Prometheus Operator 使用Operator管理Prometheus 使用Operator管理监控配置 在Prometheus Operator中使用自定义配置 本章小结
参考资料

灭火图系统落地步骤

落地步骤

目标：选择一个重要系统，完成灭火图“功能”层核心信息的配置，使灭火图基本运行起来

步骤一：确定灭火图“系统”

灭火图首页的“系统”可以根据企业内部的技术团队组织情况来进行设置，如：B2C电商业务系统、B2B电商业务系统、出行业务系统、团购业务系统、订单引擎系统、公共中台系统、地图系统等。

参与方：灭火图的落地需要由业务稳定性的负责方来lead推进，灭火图配置的功能和模块主要是系统级的服务信息，因此需要研发/测试或SRE，或对线上信息很了解的人员参与进来。

重要提示：
  • 灭火图是IT系统层面的信息，通常一个北极星业务线会有一个对应的技术团队为该业务研发业务系统，但支持该业务的可能还有如业务中台、订单引擎等公共技术团队。因此，北极星的“业务线”和灭火图的“系统”是一对多的关系。

输出：北极星业务线对应的灭火图“系统”，以及参与进一步工作的研发、测试或SRE人员。

步骤二：梳理灭火图“系统”指标

  • 指标选取：指标梳理的关键实际是梳理核心功能和核心模块，即确定哪些功能和哪些模块需要进入灭火图。
  • 指标来源：功能指标在平台上目前支持来源Flashcat的日志分析（网关或模块日志） 、 prometheus类数据源、zabbix数据源；模块指标在平台上目前支持prometheus类数据源；同时，功能和模块的信息都支持从API调用导入；
重要提示：
  • 建议从某一核心“系统”开始梳理，并优先建设“功能”层面的灭火图信息，以后再逐步扩大功能的范围，并增加“模块”层面的信息。
  • 建议只配置核心功能和核心模块，不建议把一个“系统”的所有功能和模块都配置到灭火图，这会干扰对真正的异常源的判断。

输出：灭火图各“系统”的核心功能及核心模块（可选），以及相应指标的来源。

步骤三：配置“系统”及指标

  • 灭火图“系统”：配置较为简单，在首页新建即可。
  • 功能和模块：在web平台支持单独新增和批量新增两种模式，建议采用批量新增的方式，更为准确高效。如相关信息已在其他系统中有维护，则建议通过API导入并保持动态更新。
配置建议：
  • prometheus的指标可配置多种标签，如namespace、business、module、uri等，这些标签可以在模块的部署过程中（如注入k8s的pod anotation）或在指标采集时注入。
  • 如果prometheus中的标签包含了系统、模块、接口、等级等信息，就可以在灭火图中的批量新增中，通过这些标签将功能（接口）或模块批量筛选出来，一次性添加到灭火图中。
  • 这样无论是研发或SRE只要在源头或指标采集时管理好指标的标准和注入的流程，灭火图就实际成为了prometheus的“服务树”。
  • 相应的筛选配置后续平台支持定期执行，则“服务树”就具备了动态更新的能力。

输出：完成灭火图“系统”以及相应功能和模块（可选）的指标配置。

步骤四：飘红设置和治理

灭火图的功能和模块配置过程中提供了默认的飘红阈值，目前该阈值是静态阈值，配置完成后需要对该阈值进行常态的治理调整，以达到最佳的状态。

重要提示：
  • 灭火图的理想效果：如北极星指标出现报警，则相应的灭火图一定有飘红，否则，北极星指标正常，相应的灭火图都应该是绿色的。
  • 灭火图的飘红阈值不建议设置的过于严格，否则可能导致飘红过多影响判断。对于容错率高的业务，功能成功率建议设置到90%及以下，模块存活率视实例的数量，可以设置为如80%。

输出：常态巡检灭火图，发现系统隐患的同时，对卡片飘红阈值进行调整治理。

申请技术交流产品试用
开源版
Nightingale
Categraf
Flashcat
专业版
企业版
Flashduty
SaaS版
文档中心
下载中心
视频中心
开发者中心