Prometheus 的几个常见问题和错误用法
总结 Prometheus 使用中的常见问题和错误用法,包括 step 设置不合理、Grafana rate 时间范围写死、高基数标签、重复上报数据、without 和 by 聚合选择等。
围绕可观测性、AI SRE、告警治理、On-call、Nightingale、Categraf、Prometheus、Kubernetes、Zabbix、用户案例和产品更新,沉淀一线工程实践、选型参考和稳定性治理方法。
总结 Prometheus 使用中的常见问题和错误用法,包括 step 设置不合理、Grafana rate 时间范围写死、高基数标签、重复上报数据、without 和 by 聚合选择等。
使用 Categraf、Prometheus 和夜莺搭建主机监控的完整教程,覆盖数据采集、remote write 转发、仪表盘导入、告警规则导入和钉钉通知配置。
告警 OnCall 实践的核心在于快速响应、高效协作和持续改进。通过避免上述错误实践,团队可以显著提升故障处理效率,降低系统风险,同时减轻 OnCall 人员的压力。
详解夜莺监控 n9e-edge 边缘告警引擎架构,说明中心 n9e、边缘机房数据源、告警引擎集群、Redis、Categraf 和 Ibex 的部署关系,以及跨机房链路不稳定时如何保障告警判定可靠性。
Prometheus 历史峰值看不到,常见原因不是监控不准,而是 query_range 查询时 step 变大后只返回较稀疏的数据点。本文解释 step 的含义、Nightingale 如何自动计算 step,以及如何用原始数据判断实际采集频率。
面向 Linux 性能排障,系统介绍 iostat、iotop、vmstat、dstat、sar 五个工具,讲清磁盘 IO 的关键指标、典型症状、工具差异和排查思路。
梳理 17 个值得纳入监控的 Linux 日志文件,覆盖系统、认证、内核、启动、计划任务、邮件、Web、数据库、防火墙、审计和登录记录,并给出常见查看命令与告警关键词建议。
告警事件数据孤岛会让通知配置、事件收敛、排班升级、故障定位和协同响应变得分散低效。本文从问题后果、统一事件模型、Webhook 接入、上下文丰富和 OnCall 协同角度,说明为什么需要统一告警/事件平台。
连锁门店可观测性既要看服务端,也要覆盖全国门店端设备、网络和程序。本文总结 Flashcat 用灭火图、北极星、Categraf 和 Flashduty 建设连锁门店稳定性保障体系的方法。
Categraf、Prometheus Exporter 等采集器会暴露大量英文监控指标。本文说明可以从仪表盘、告警规则、夜莺指标视图、源码和官方文档中查找指标含义,并解释为什么很难有一个地方覆盖全部指标说明。
夜莺监控 v8.beta5 版本新增用户自定义 token 接口鉴权、时序数据转发 Kafka、仪表盘 annotations 与阈值样式优化,并调整告警规则数据源筛选 UI。
MySQL 监控应同时覆盖进程存活、日志、性能指标、连接、慢查询、锁等待、磁盘 I/O 和复制状态,并结合 SHOW STATUS、Performance Schema、慢查询日志和监控系统定位问题。
MetricsHub 是 Sentry 开源的监控数据采集器,侧重服务器、存储、交换机等 IT Infra 和网络设备采集,可通过 OpenTelemetry 协议把指标发送到 Prometheus、Grafana Cloud、Datadog、Splunk 等后端。本文介绍 MetricsHub 的定位、工作方式、快速开始和 connectors 价值。
出海企业建设可观测性体系时,需要同时处理跨地域业务、安全合规、带宽成本、多云观测系统和 24 小时值班保障。本文梳理这些挑战,并介绍 Flashcat 与 Flashduty 的统一观测架构思路。
存量观测系统多、数据源分散,是统一观测平台建设的第一道难题。本文对比完全重建、转储转换和 API 对接三类路径,并说明 Flashcat 为什么优先选择数据源集成。
本文用 10 个 Kubernetes 问题检验对调度、OOM、ConfigMap、Pod 稳定性、Service 负载均衡、日志采集、探针、扩缩容、kubectl exec 和 CrashLoop 排障的理解。
告警事件产生后,可以通过 Relabel、Enrichment、映射标签和 Callback 与 CMDB 打通,补齐 owner、SOP、服务归属等上下文,降低沟通成本并提升 OnCall 排障效率。
介绍进程监控的目标、原理和 Categraf procstat 配置方法,说明如何通过 /proc、进程名、cmdline、资源指标和 JVM 采集实现进程存活与资源消耗监控。
讲解两种告警降噪思路:固定时间窗口聚合告警事件,以及 Flashduty 的滑动窗口合并与实时通知,对比实时性、收敛效果和适用场景。
ElasticSearch query_string 语法入门样例,覆盖 match、match_phrase、wildcard、range、exists 和多条件组合查询,适合日志监控和夜莺过滤条件配置参考。