夜莺-Nightingale
夜莺V6
项目介绍 架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
FAQ
开源生态
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
第3章:Prometheus告警处理
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
第9章:Prometheus Operator
参考资料

灭火图系统简介

灭火图系统通过观测IT系统的核心功能和核心模块、服务组件、基础设施,快速收敛故障范围,并关联后续的多种故障定位渠道,引导用户下钻完成故障定位过程,是Flashcat里进入故障定位环节的入口。

术语

概念 说明
灭火图 该子系统的统称,主要包括系统层(包括功能和模块)、组件层、基础设施层。
系统 灭火图的系统,可以按企业内部技术团队的组织形式来设置,通常一个北极星业务线会对应多个灭火图系统。如北极星团购业务线可能对应灭火图团购业务系统、中台系统、地图系统、订单引擎系统等。
Flashcat提供将北极星业务线和灭火图进行关联的功能(系统级别和功能组/模块组级别)。
任一灭火图系统都有 功能 和 模块 两个观测维度。
功能 功能可以理解为IT系统的API或接口,表现形式通常为:域名/ip + path。如下单接口、支付接口、查询接口等。
灭火图观测功能的三个黄金指标(黄金指标SLO):请求成功率、请求量、请求延迟(平均值及分位值)。
也支持只观测功能的某一个维度,指标由用户自定义(自定义SLO)。
模块 模块是研发编写并部署在线上运行的程序,通常一个模块由一个或多个实例组成,对应如kubernetes中的一个个service、deployment、statefulset等。模块对外提供API或接口(即功能),是功能实现的物理支持。
灭火图观测模块的实例存活率(卡片异常飘红的依据)、cpu/mem/disk使用率指标。
功能组/模块组 相关的 功能 或 模块 可以在灭火图中加入到同一个功能组或模块组中,方便统一观测,并做异常相关性的判断。
一个功能组 或 模块组通常可对应一个相对独立的IT子系统,如券子系统、库存子系统、用户子系统等。
组件 即通用的服务组件,如mysql、kafka、elasticsearch、zookeeper等。
基础设施 即公共的基础设施,如外网运营商网络、内网网络、CDN、DNS等。
飘红 灭火图的核心目标是全局观测服务在IT层面的健康状态,并快速收敛范围,这个特点的主要实现途径就是飘红,灭火图可以针对观测对象设置组合的飘红条件,并层层上传这个飘红信息,以便在首页即可完成异常面的观测。
时间轴状态 灭火图会记录所有功能和模块在过去x小时内的飘红记录,飘红的卡片越多时间轴状态越红(类似地图路况图),点击时间轴可以回溯灭火图的历史状态。

产品架构

灭火图产品架构

开源版
Flashcat
Flashduty