快猫监控
夜莺监控V6
夜莺监控V5
Categraf
Telegraf
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
开篇
理解时间序列
Metrics类型
初识PromQL
PromQL操作符
PromQL聚合操作
PromQL内置函数
在HTTP API中使用PromQL
最佳实践:4个黄金指标和USE方法
小结
第3章:Prometheus告警处理
开篇
Prometheus告警简介
自定义Prometheus告警规则
部署Alertmanager
Alertmanager配置概述
基于标签的告警处理路由
使用Receiver接收告警信息
告警模板详解
屏蔽告警通知
使用Recoding Rules优化性能
小结
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
开篇
初识Kubernetes
在Kubernetes下部署Prometheus
Kubernetes下的服务发现
使用Prometheus监控Kubernetes集群
基于Prometheus的弹性伸缩
小结
第9章:Prometheus Operator
参考资料
智能告警
灭火图系统简介
灭火图系统通过观测IT系统的核心功能和核心模块、服务组件、基础设施,快速收敛故障范围,并关联后续的多种故障定位渠道,引导用户下钻完成故障定位过程,是Flashcat里进入故障定位环节的入口。
术语
概念 | 说明 |
---|---|
灭火图 | 该子系统的统称,主要包括系统层(包括功能和模块)、组件层、基础设施层。 |
系统 | 灭火图的系统,可以按企业内部技术团队的组织形式来设置,通常一个北极星业务线会对应多个灭火图系统。如北极星团购业务线可能对应灭火图团购业务系统、中台系统、地图系统、订单引擎系统等。 Flashcat提供将北极星业务线和灭火图进行关联的功能(系统级别和功能组/模块组级别)。 任一灭火图系统都有 功能 和 模块 两个观测维度。 |
功能 | 功能可以理解为IT系统的API或接口,表现形式通常为:域名/ip + path。如下单接口、支付接口、查询接口等。 灭火图观测功能的三个黄金指标(黄金指标SLO):请求成功率、请求量、请求延迟(平均值及分位值)。 也支持只观测功能的某一个维度,指标由用户自定义(自定义SLO)。 |
模块 | 模块是研发编写并部署在线上运行的程序,通常一个模块由一个或多个实例组成,对应如kubernetes中的一个个service、deployment、statefulset等。模块对外提供API或接口(即功能),是功能实现的物理支持。 灭火图观测模块的实例存活率(卡片异常飘红的依据)、cpu/mem/disk使用率指标。 |
功能组/模块组 | 相关的 功能 或 模块 可以在灭火图中加入到同一个功能组或模块组中,方便统一观测,并做异常相关性的判断。 一个功能组 或 模块组通常可对应一个相对独立的IT子系统,如券子系统、库存子系统、用户子系统等。 |
组件 | 即通用的服务组件,如mysql、kafka、elasticsearch、zookeeper等。 |
基础设施 | 即公共的基础设施,如外网运营商网络、内网网络、CDN、DNS等。 |
飘红 | 灭火图的核心目标是全局观测服务在IT层面的健康状态,并快速收敛范围,这个特点的主要实现途径就是飘红,灭火图可以针对观测对象设置组合的飘红条件,并层层上传这个飘红信息,以便在首页即可完成异常面的观测。 |
时间轴状态 | 灭火图会记录所有功能和模块在过去x小时内的飘红记录,飘红的卡片越多时间轴状态越红(类似地图路况图),点击时间轴可以回溯灭火图的历史状态。 |
产品架构