快猫云眼

故障处理是服务稳定性保障的核心，感性上说故障少、处理快，服务稳定性就好，反之稳定性就差。

故障处理通常由报警或用户投诉驱动，各个系统的技术和运维人员分头排查，这种方式存在几个问题：

• 1. 信息过载：故障的发生通常伴随着大量的报警和群消息的轰炸，导致信息过载，要从这些信息中识别出故障信息和有效的处理信息很困难；
• 2. 故障发现慢：日常报警很多，真正的故障发生时可能只有几个一线员工靠自己的判断感知到，或等到用户反馈时才反应过来。而要把这些重要信息同步到所有相关的技术人员和leader，又需要耗费不少时间；
• 3. 故障定位难：定位难有很多原因
  • 信息因素：信息过载就是一个最直接的原因；
  • 人的因素：参与定位处理的核心人员是否及时到位，甚至是否已经离职/转岗缺位。只依赖几个核心技术人员，外人难以介入，核心人员既要排查又要同步信息，分身乏术；
  • 协同因素：多个依赖的团队间不能有效协同，相互不了解对方的情况；
  • 方法因素：缺乏正确的故障处理方法和思路，盲目追查，不知道或忽略了优先止损的原则；

Flashcat-Eye 为故障处理构建了一个故障处理的信息中心、指挥中心、协同中心和管理中心，为故障处理和稳定性保障提供一个全局视角和最佳实践。

Flashcat-Eye包括子系统：

• 面向故障发现和稳定性管理的 北极星系统
• 面向加速故障定位的 灭火图、日志分析、事件墙 等系统，以及串联这些系统数据，加速故障定位的最佳实践；

服务场景：

产品逻辑：

产品示意：

实践数据：

• 故障发现环节：故障出现不会被遗漏，故障发现报警实时性 <5分钟
• 故障定位环节：定位耗时（从开始介入处理到确定止损方案），压缩耗时超过 60%