夜莺-Nightingale
夜莺V6
项目介绍
架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
users
target
user_group
user_group_member
task_tpl
task_tpl_host
task_record
sso_config
role
role_operation
recording_rule
notify_tpl
metric_view
datasource
configs
chart_share
busi_group
busi_group_member
builtin_cate
board
board_payload
alerting_engines
alert_subscribe
alert_rule
alert_mute
alert_his_event
alert_cur_event
alert_aggr_view
FAQ
转发数据给多个时序库
机器列表数据异常
数据流图
监控数据时有时无
查询原始监控数据
快捷视图详解
告警自愈模块使用
仪表盘里只展示我的机器
仪表盘里图表数据缺失
设置自定义告警通知方式
target_up指标的问题
夜莺可以监控 x 么
告警和恢复的判断逻辑
容量规划问题
connection refused
登录与认证
数据采集器Categraf
日志写到`/var/log/messages`
告警规则&告警模板如何引用变量
采集到的数据是字符串怎么处理
管理员密码忘记了
制作大盘如何添加图片
添加loki数据源报错
v6小版本升级有什么 sql 要执行吗
机器列表有展示,但采集数据查询不到
n9e 启动异常报错
n9e集群部署配置修改
推送 Promethus 报错 OOO
机器列表怎么忽略云资源
告警规则仅在本业务组生效失败
categraf 启动 oracle 插件报错
告警自愈不生效
n9e查询时序库EOF报错
手动编译项目报错
promQL 使用函数标签信息丢失
内存使用率+可用率不等于100
夜莺仪表盘有哪些内置变量
categraf配置文件支持热加载吗
导入 Grafana 仪表盘无效数据源
如何查看报错消息
采集器-Categraf
开源生态
Telegraf
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
开篇
理解时间序列
Metrics类型
初识PromQL
PromQL操作符
PromQL聚合操作
PromQL内置函数
在HTTP API中使用PromQL
最佳实践:4个黄金指标和USE方法
小结
第3章:Prometheus告警处理
开篇
Prometheus告警简介
自定义Prometheus告警规则
部署Alertmanager
Alertmanager配置概述
基于标签的告警处理路由
使用Receiver接收告警信息
告警模板详解
屏蔽告警通知
使用Recoding Rules优化性能
小结
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
开篇
初识Kubernetes
在Kubernetes下部署Prometheus
Kubernetes下的服务发现
使用Prometheus监控Kubernetes集群
基于Prometheus的弹性伸缩
小结
第9章:Prometheus Operator
参考资料
mongodb插件
mongodb采集插件
mongodb 监控采集插件,核心原理就是连到 mongodb 实例,执行一些查询,解析输出内容,整理为监控数据上报。
社区贡献的插件中间有过协议的变化(GPL到Apache2.0),从v0.3.30到v0.3.43版本(企业版从v0.3.40到v0.3.64),categraf的mongogdb插件fork和修改的是telegraf的mongodb插件.
配置
创建只读用户并授权
至少授予以下权限给配置文件中用于连接 MongoDB 的 user 才能收集指标
{
"role":"clusterMonitor",
"db":"admin"
},
{
"role":"read",
"db":"local"
}
一个简单例子
mongo -h xxx -u xxx -p xxx --authenticationDatabase admin
> use admin
> db.createUser({user:"categraf",pwd:"categraf",roles: [{role:"read",db:"local"},{"role":"clusterMonitor","db":"admin"}]})
配置文件
- 配置文件路径:
conf/input.mongodb/mongodb.toml
- 配置DSN 用户名 密码等,
...
# 定义访问的mongodb dsn
## deprecated, 推荐用 servers
mongodb_uri = "mongodb://127.0.0.1:27017/?authSource=admin"
## 推荐使用
servers = ["mongodb://user:pass@mongodb://127.0.0.1:27017/?authSource=admin"]
# 额外要附加的label
labels = { cluster="mongo-cluster-01" }
# 如果设置为true, 后续的enable_xxx 配置将被忽略, 采集所有的metrics
collect_all = true
# 是否采集 database 的metrics
# enable_db_stats = true
# 是否采集 replSetGetStatus 指标
# enable_replicaset_status = true
# 是否采集 admin命令的top 指标
# enable_top_metrics = true
# 是否采集 collections 指标 , 需要指定具体的 coll_stats_namespaces 和 discovering_mode.
# enable_coll_stats = true
# 只采集指定的 collections 和 namespace. 如果不设置 discovering_mode 会被打开
# 例如: db1.col1,db.col1
# coll_stats_namespaces = []
# 设置为true时, 将指标descending_index的标签key_name中的-1替换为DESC
...
# 配置username 和 password 会覆盖servers(mongodb_uri)中链接的用户名和密码
# 当密码包含特殊字符时,推荐配置这两项(自己会转义的忽略)
username = "xxxx"
password = "xxxx"
...
其中authSource=admin
是说认证使用admin空间的用户认证,这跟上面创建用户的 use admin
是对应的。 额外的参数可以放到uri的param中, 比如跳过tls验证,可以在mongodb_uri中添加参数
tlsinsecure=true
这样最终mongodb_uri就是
mongodb://127.0.0.1:27017/?authSource=admin&tlsinsecure=true
更详细的权限配置请参考官方文档
主要查询逻辑
配置中的开关和主要查询逻辑对应的mongo shell命令。 方便大家自己配置和测试。
0. 默认执行
use admin
db.runCommand({ serverStatus: 1,recordStats:0 })
1. enable_replicaset_status =true
use admin
db.runCommand({replSetGetStatus: 1})
可选
use local
db.getCollection("oplog.rs").find({"ts": {"$exists": true}}).limit(1)
db.getCollection("oplog.rs").find({"ts": {"$exists": true}}).sort({"$natural": -1}).limit(1)
解析出第一条和最后一条数据的timestamp, 返回两个时间戳的差值
2. enable_cluster_status = true
use configs
db.getCollection("chunks").countDocuments({"jumbo": true})
3. shardStatus 默认采集
use admin
db.runCommand({connPoolStats: 1}) # 5.0及以上版本
db.runCommand({shardConnPoolStats: 1}) # 5.0以下版本
4. enable_coll_stats = true
use admin
db.adminCommand('listDatabases') # 可以配置 coll_stats_namespaces 过滤, 获取所有db
use $上面的db
db.runCommand({listCollections: 1, filter: { "type": { "$in": ["collection", "timeseries"] } }, nameOnly:true }) #获取collections
db.runCommand({collStats: $上面的colls})
例如,
use admin
db.runCommand({collStats: "system.users"})
5. enable_db_stats = true
db.adminCommand('listDatabases')
use $上面的db
db.runCommand({dbStats: 1})
6. enable_top_metrics = true
use admin
db.runCommand({top: 1})
监控大盘和告警规则
v0.3.30版本以后,由于指标变化,推荐使用dashboard2