夜莺-Nightingale
夜莺V6
项目介绍 架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
FAQ
开源生态
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
第3章:Prometheus告警处理
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
第9章:Prometheus Operator
参考资料

北极星系统最佳实践

最佳实践

北极星的核心目标是量化并发现故障,并驱动故障处理的流程。基于北极星的故障发现最佳实践举例如下。

实践一:建立完善的故障响应机制

1)北极星指标报警准确稳定后,建立业务线的稳定性保障群,加入业务负责人、技术负责人、SRE等稳定性保障相关人员;
2)报警接收组里配置IM机器人,将报警事件发送到保障群中;
3)可同时配置电话报警渠道,以便相关人员任何时段都能及时高优的感知和响应;
4)北极星指标报警后,确保稳定性保障的相关人员都感知了故障的发生,进入故障定位状态;
5)处理过程中,根据北极星指标的情况,向业务负责人和保障团队通报故障影响和趋势;
6)处理完成,根据北极星指标整体受损情况,向业务负责人和保障团队通报故障整体影响;
7)安排故障复盘,基于北极星指标的影响确定故障等级;

实践二:联动变更及时发现并控制故障

据统计,故障大部分是因变更引起的,而最多的变更就是线上程序发布。
有了准确的北极星指标报警后,可以联动发布系统和北极星报警。一旦相应业务线的北极星指标产生报警,发布系统可通过查询或报警回调感知,立即阻断该业务线的所有变更进程,提示用户进行检查或立即执行回滚,以防止故障影响扩大并快速止损。

开源版
Flashcat
Flashduty