北极星系统最佳实践

最佳实践

北极星的核心目标是量化并发现故障，并驱动故障处理的流程。基于北极星的故障发现最佳实践举例如下。

实践一：建立完善的故障响应机制

1）北极星指标报警准确稳定后，建立业务线的稳定性保障群，加入业务负责人、技术负责人、SRE等稳定性保障相关人员；
2）报警接收组里配置IM机器人，将报警事件发送到保障群中；
3）可同时配置电话报警渠道，以便相关人员任何时段都能及时高优的感知和响应；
4）北极星指标报警后，确保稳定性保障的相关人员都感知了故障的发生，进入故障定位状态；
5）处理过程中，根据北极星指标的情况，向业务负责人和保障团队通报故障影响和趋势；
6）处理完成，根据北极星指标整体受损情况，向业务负责人和保障团队通报故障整体影响；
7）安排故障复盘，基于北极星指标的影响确定故障等级；

实践二：联动变更及时发现并控制故障

据统计，故障大部分是因变更引起的，而最多的变更就是线上程序发布。
有了准确的北极星指标报警后，可以联动发布系统和北极星报警。一旦相应业务线的北极星指标产生报警，发布系统可通过查询或报警回调感知，立即阻断该业务线的所有变更进程，提示用户进行检查或立即执行回滚，以防止故障影响扩大并快速止损。