夜莺-Nightingale
夜莺V8
前言必读
安装
采集器
快速体验
监控实践
功能详解
说明文档
夜莺V7
项目介绍
功能概览
部署升级
数据接入
告警管理
数据查看
功能介绍
告警管理
通知管理
通知规则介绍
阿里云短信
Relabel 事件处理
Event Drop 事件处理
Event Update 事件处理
Callback 事件处理
Script 事件处理
Label Enrich 事件处理
AI Summary 事件处理
模板函数
仪表盘
数据源
时序指标
日志分析
告警自愈
基础设施
集成中心
人员组织
系统配置
数据库表结构
users
notify_tpl
board
users
target
target
user_group
user_group_member
task_tpl
task_tpl_host
task_record
sso_config
role
role_operation
recording_rule
notify_tpl
metric_view
datasource
configs
chart_share
busi_group
busi_group_member
builtin_cate
builtin_cate
builtin_cate
builtin_cate
board
board_payload
alerting_engines
alert_subscribe
alert_rule
alert_mute
alert_his_event
alert_cur_event
alert_aggr_view
API
FAQ
夜莺V6
项目介绍
架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
users
notify_tpl
board
users
target
target
user_group
user_group_member
task_tpl
task_tpl_host
task_record
sso_config
role
role_operation
recording_rule
notify_tpl
metric_view
datasource
configs
chart_share
busi_group
busi_group_member
builtin_cate
builtin_cate
builtin_cate
builtin_cate
board
board_payload
alerting_engines
alert_subscribe
alert_rule
alert_mute
alert_his_event
alert_cur_event
alert_aggr_view
FAQ
转发数据给多个时序库
机器列表数据异常
数据流图
监控数据时有时无
查询原始监控数据
快捷视图详解
告警自愈模块使用
仪表盘里只展示我的机器
仪表盘里图表数据缺失
设置自定义告警通知方式
target_up指标的问题
夜莺可以监控 x 么
夜莺告警常见问题排查思路
告警和恢复的判断逻辑
容量规划问题
connection refused
登录与认证
数据采集器Categraf
日志写到`/var/log/messages`
告警规则&告警模板如何引用变量
采集到的数据是字符串怎么处理
管理员密码忘记了
制作大盘如何添加图片
添加loki数据源报错
v6小版本升级有什么 sql 要执行吗
机器列表有展示,但采集数据查询不到
n9e 启动异常报错
n9e集群部署配置修改
推送 Promethus 报错 OOO
机器列表怎么忽略云资源
告警规则仅在本业务组生效失败
categraf 启动 oracle 插件报错
告警自愈不生效
n9e查询时序库EOF报错
手动编译项目报错
promQL 使用函数标签信息丢失
内存使用率+可用率不等于100
夜莺仪表盘有哪些内置变量
categraf配置文件支持热加载吗
导入 Grafana 仪表盘无效数据源
如何查看报错消息
采集器-Categraf
插件配置
插件综述
基础指标采集插件
Netstat 采集插件
Netstat_Filter 采集插件
Procstat 采集插件
HTTP_Response
MySQL 插件
Redis 插件
SNMP_Zabbix插件
SNMP 插件
IPMI 采集插件
DNS_Query 插件
DCGM 采集插件
NVIDIA_SMI 插件
cAdvisor 采集插件
Huatuo 托管插件
SSHD 采集插件
Systemd 采集插件
S.M.A.R.T.采集插件
PostgreSQL 插件
MongoDB 插件
Elasticsearch 采集插件
EXEC 采集插件
EMQX 采集插件
阿里云指标采集插件
Zabbix 指标转换插件
CloudWatch 指标采集插件
Google Cloud 指标采集插件
Mtail 日志采集插件
Prometheus 采集插件
开启采集配置控制台下发
Flashcat 企业版
开源生态
Telegraf
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
开篇
理解时间序列
Metrics类型
初识PromQL
PromQL操作符
PromQL聚合操作
PromQL内置函数
在HTTP API中使用PromQL
最佳实践:4个黄金指标和USE方法
小结
第3章:Prometheus告警处理
开篇
Prometheus告警简介
自定义Prometheus告警规则
部署Alertmanager
Alertmanager配置概述
基于标签的告警处理路由
使用Receiver接收告警信息
告警模板详解
屏蔽告警通知
使用Recoding Rules优化性能
小结
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
开篇
初识Kubernetes
在Kubernetes下部署Prometheus
Kubernetes下的服务发现
使用Prometheus监控Kubernetes集群
基于Prometheus的弹性伸缩
小结
第9章:Prometheus Operator
参考资料
VictoriaLogs 日誌告警通過 LogsQL 進行日誌統計分析,及時發現異常並觸發告警。
配置說明
查詢統計
查詢條件
在查詢條件輸入框中輸入 LogsQL 統計查詢語句,查詢結果會賦值給變量 $A。
查詢語句格式:<過濾條件> | stats <統計函數>
點擊「數據預覽」按鈕可以查看查詢結果,驗證查詢語句是否正確。
閾值判斷
基於查詢統計的結果設置告警閾值,例如 $A > 10 表示統計值大於 10 時觸發告警。
請確保所有變量均有數據,且它們的標籤一致,否則無法進行閾值判斷。
數據缺失
配置當查詢無數據時的處理策略。
LogsQL 查詢語法
過濾條件
關鍵字查詢
error # 查詢包含 "error" 的日誌
"connection timeout" # 查詢包含完整短語的日誌
字段過濾
_stream:{host="server1"} # 匹配 stream 標籤
level:=error # 精確匹配字段值
level:error # 字段包含某值
status:>=500 # 數值比較
邏輯運算符
error AND timeout # 同時包含
error OR warning # 包含任一
error NOT debug # 排除
通配符和正則
err* # 前綴匹配
/error|warning/i # 正則匹配(i 表示忽略大小寫)
時間過濾
使用 _time 字段篩選時間範圍,這在告警場景中非常常用:
_time:1m # 最近 1 分鐘
_time:5m # 最近 5 分鐘
_time:10m # 最近 10 分鐘
_time:30m # 最近 30 分鐘
_time:1h # 最近 1 小時
_time:1d # 最近 1 天
時間範圍查詢:
_time:[now-5m, now] # 最近 5 分鐘(等同於 _time:5m)
_time:[2024-01-01, 2024-01-02] # 指定日期範圍
_time:["2024-01-01 10:00", "2024-01-01 12:00"] # 指定時間範圍
組合使用示例:
_time:5m AND level:=error # 最近 5 分鐘的錯誤日誌
_time:10m AND status:>=500 # 最近 10 分鐘的 5xx 錯誤
統計管道(stats)
查詢語句必須使用 | stats 管道進行統計,常用統計函數:
| 函數 | 說明 | 示例 |
|---|---|---|
count() |
統計日誌數量 | ` |
count_uniq(field) |
統計字段唯一值數量 | ` |
sum(field) |
求和 | ` |
avg(field) |
平均值 | ` |
min(field) |
最小值 | ` |
max(field) |
最大值 | ` |
分組統計(by)
使用 by (field) 按字段分組,分組後每個分組會獨立產生告警:
error | stats by (host) count() as count
詳細的 LogsQL 語法請參考 VictoriaLogs 官方文檔
使用範例
示例1:錯誤日誌數量監控(5分鐘)
查詢條件:
_time:5m AND level:=error AND _stream:{service="payment"} | stats count() as count
閾值判斷: $A > 10
示例2:按主機分組監控錯誤(5分鐘)
查詢條件:
_time:5m AND level:=error | stats by (host) count() as count
閾值判斷: $A > 50
每個主機獨立告警。
示例3:5xx 狀態碼監控(10分鐘)
查詢條件:
_time:10m AND status:>=500 AND status:<600 | stats count() as count
閾值判斷: $A > 100
示例4:按服務和狀態碼分組統計(10分鐘)
查詢條件:
_time:10m AND status:>=400 | stats by (service, status) count() as count
閾值判斷: $A > 50
示例5:平均響應時間監控(5分鐘)
查詢條件:
_time:5m AND _stream:{app="api-gateway"} | stats avg(response_time) as avg_rt
閾值判斷: $A > 1000
示例6:關鍵字告警(10分鐘)
查詢條件:
_time:10m AND ("timeout" OR "connection refused" OR "out of memory") | stats count() as count
閾值判斷: $A > 5
示例7:正則表達式匹配(5分鐘)
查詢條件:
_time:5m AND /exception|panic|fatal/i AND _stream:{env="production"} | stats by (service) count() as count
閾值判斷: $A > 20
示例8:唯一用戶數監控(30分鐘)
查詢條件:
_time:30m AND level:=error | stats count_uniq(user_id) as affected_users
閾值判斷: $A > 100