采集器-Categraf

主配置文件

内置Prometheus agent mode

插件配置

插件综述基础指标采集插件 exec采集插件 netstat采集插件 procstat采集插件 snmp插件 ipmi采集插件 nvidia_smi插件 cadvisor采集插件 smart采集插件 mysql插件 postgresql插件 mongodb插件阿里云指标采集插件 cloudwatch指标采集插件 google cloud指标采集插件 mtail插件 prometheus采集插件页面配置采集插件

夜莺-Nightingale

夜莺V7

项目介绍功能概览

部署升级

部署说明老版本升级附：Docker Compose 附：二进制部署附：Prometheus 部署附：部署采集器附：边缘机房部署

数据接入

数据源接入导入仪表盘数据采集

告警管理

快速入门 PromQL 邮件推送企微推送钉钉推送回调推送脚本推送自定义通知模板告警屏蔽告警事件告警自愈

数据查看

即时查询仪表盘

FAQ

夜莺V6

项目介绍架构介绍

快速开始

最快速体验

黄埔营

安装部署

部署说明 Docker Compose 高级部署方案附：Prometheus 部署

升级

采集器

概述 Categraf Datadog-agent Falcon插件 Grafana-agent Telegraf

使用手册

仪表盘

仪表盘图表配置

告警管理

告警规则内置规则告警屏蔽告警订阅活跃告警历史告警通知媒介

时序指标

即时查询快捷视图记录规则

日志分析

基础设施

机器列表采集配置

告警自愈人员组织数据源通知配置通知模板单点登录 ES日志监控（专业版）自监控权限管理

API

数据读取数据推送操作类接口回调地址对接方式

数据库表结构

alert_aggr_view alert_cur_event alert_his_event alert_mute alert_rule alert_subscribe alerting_engines board board_payload builtin_cate busi_group busi_group_member chart_share configs datasource metric_view notify_tpl recording_rule role role_operation sso_config target task_record task_tpl task_tpl_host user_group user_group_member users

FAQ

转发数据给多个时序库机器列表数据异常数据流图监控数据时有时无查询原始监控数据快捷视图详解告警自愈模块使用仪表盘里只展示我的机器仪表盘里图表数据缺失设置自定义告警通知方式 target_up指标的问题夜莺可以监控 x 么告警和恢复的判断逻辑容量规划问题 connection refused 登录与认证数据采集器Categraf 日志写到`/var/log/messages` 告警规则&告警模板如何引用变量采集到的数据是字符串怎么处理管理员密码忘记了制作大盘如何添加图片添加loki数据源报错 v6小版本升级有什么 sql 要执行吗机器列表有展示，但采集数据查询不到 n9e 启动异常报错 n9e集群部署配置修改告警触发/恢复的值怎么获取推送 Promethus 报错 OOO 机器列表怎么忽略云资源告警规则仅在本业务组生效失败 categraf 启动 oracle 插件报错告警自愈不生效 n9e查询时序库EOF报错手动编译项目报错 promQL 使用函数标签信息丢失内存使用率+可用率不等于100 夜莺仪表盘有哪些内置变量 categraf配置文件支持热加载吗导入 Grafana 仪表盘无效数据源

夜莺V5

项目介绍藏经阁

安装部署

事前必读 Docker Compose 方式 Helm 方式二进制方式 VictoriaMetrics 告警自愈模块

采集器

Categraf Datadog-agent Falcon插件 Grafana-agent Telegraf

使用手册

SNMP 应用监控 Mtail日志监控 JVM监控钉钉告警电话短信告警告警通知告警格式 Relabel 自监控

API

数据读取数据推送 Webapi接口

夜莺专业版

智能告警插件

夜莺智能告警插件

日志告警插件

夜莺ES日志告警从日志中提取指标

Flashcat 企业版

北极星

简介落地步骤最佳实践 SLA管理实践

灭火图

简介落地步骤最佳实践

事件墙

简介落地步骤最佳实践

日志分析

简介落地步骤最佳实践

开源生态

Telegraf

介绍、安装、初步测试 CPU、MEM、DISK、IO插件 kernel、system、processes插件 exec、net、netstat插件端口监控、TCP探测 PING、Procstat插件

Prometheus

版权声明

第1章:天降奇兵

开篇 Prometheus简介

初识Prometheus

安装Prometheus Server 使用Node Exporter采集主机数据使用PromQL查询监控数据使用Grafana创建可视化Dashboard

任务和实例 Prometheus核心组件讲解小结

第2章:探索PromQL

开篇理解时间序列 Metrics类型初识PromQL PromQL操作符 PromQL聚合操作 PromQL内置函数在HTTP API中使用PromQL 最佳实践：4个黄金指标和USE方法小结

第3章:Prometheus告警处理

开篇 Prometheus告警简介自定义Prometheus告警规则部署Alertmanager Alertmanager配置概述基于标签的告警处理路由

使用Receiver接收告警信息

概述与SMTP邮件集成与Slack集成与企业微信集成集成钉钉：基于Webhook的扩展

告警模板详解屏蔽告警通知使用Recoding Rules优化性能小结

第4章:Exporter详解

开篇 Exporter是什么

常用Exporter

容器监控：cAdvisor 使用 Prometheus 监控 MySQL 运行状态：MySQLD Exporter 网络探测：Blackbox Exporter

使用Java自定义Exporter

使用Client Java构建Exporter程序在应用中内置Prometheus支持

小结

第5章:数据与可视化

开篇使用Console Template Grafana基本概念

Grafana与数据可视化

概述变化趋势：Graph面板分布统计：Heatmap面板当前状态：SingleStat面板

模板化Dashboard 小结

第6章:集群与高可用

开篇 Prometheus 本地存储 Prometheus 远程存储 Prometheus 联邦集群 Prometheus 高可用 Alertmanager 高可用小结

第7章:Prometheus服务发现

开篇 Prometheus与服务发现基于文件的服务发现基于Consul的服务发现服务发现与Relabeling 小结

第8章:监控Kubernetes

开篇初识Kubernetes 在Kubernetes下部署Prometheus Kubernetes下的服务发现使用Prometheus监控Kubernetes集群基于Prometheus的弹性伸缩小结

第9章:Prometheus Operator

开篇什么是Prometheus Operator 使用Operator管理Prometheus 使用Operator管理监控配置在Prometheus Operator中使用自定义配置本章小结

参考资料

日志分析落地步骤

落地步骤

目标：完成日志源和日志接入配置，产生基本的观测维度，输出维度分析信息和基本特征分析信息，并能够查看到日志原文

步骤一：配置日志源

首先需要接入日志源，有几种方式：

大部分情况下企业内部已采集了网关或服务的日志，则只要在Flashcat的数据集成系统中配置相应的消息队列（通常是kafka）topic数据源即可；
也可以配置采集agent（如filebeat），将采集的日志同时发送一份到Flashcat的kafka，再在数据集成系统中进行简单配置来实现日志源的接入；
如日志还没有采集，则可以安装fliebeat或开源categraf来采集日志，上报到Flashcat的kafka，其它步骤同上；
Flashcat也支持从已存储了日志的Elasticsearch中获取日志，但这个方案会受限于ES接口的限流设置，维护成本较高，也不太可控，不推荐采用这个方案；

输出：在数据集成系统中完成日志源的配置

步骤二：接入日志配置提取规则

配置好日志源后，就可以具体的接入日志。接入日志的过程中需要选择日志源，并选择创建新日志主题，或是加入已有日志主题。
日志接入的核心是配置日志提取规则，确定日志提取的方式和效果。

重要提示：

建议具有相同格式和表意的日志源关联到同一日志主题中。日志主题的分类如网关日志、cache日志、存储日志、xx业务日志等。
网关日志，特别是统一网关的日志，最有利于做日志分析的观测，建议优先接入服务的网关日志。

重要提示：

日志接入过程中可以给特殊的字段做含义指定，如代表请求状态码的字段、代表响应延迟的字段、代表traceid的字段、代表请求来源ip的字段等等。系统里会引导完成这些字段的指定，一部分指定是完成维度分析所必须的，一部分指定是故障分析的联动能力及特征分析能力的增强，如实现对tracing系统的联动等。这部分将在进阶实践部分介绍。

输出：完成日志的接入，在主题管理中可以看到相应日志源接入的效果

步骤三：配置常态观测维度

日志接入后需要在相应的日志主题中配置观测维度才能查看信息。观测维度可在系统中进行快速简单的配置完成。

重要提示：

建议至少配置接口维度、集群维度，并将企业内部日常故障处理中常观测的维度都配置出来，如请求来源维度、地域维度等。

输出：完成业务故障特征分析常用维度的配置

申请技术交流产品试用

开源版

Nightingale

Categraf

Flashcat

专业版

企业版

Flashduty

SaaS版

文档中心

下载中心

视频中心

开发者中心