灭火图系统落地步骤

落地步骤

目标：选择一个重要系统，完成灭火图“功能”层核心信息的配置，使灭火图基本运行起来

步骤一：确定灭火图“系统”

灭火图首页的“系统”可以根据企业内部的技术团队组织情况来进行设置，如：B2C电商业务系统、B2B电商业务系统、出行业务系统、团购业务系统、订单引擎系统、公共中台系统、地图系统等。

参与方：灭火图的落地需要由业务稳定性的负责方来lead推进，灭火图配置的功能和模块主要是系统级的服务信息，因此需要研发/测试或SRE，或对线上信息很了解的人员参与进来。

重要提示： 灭火图是IT系统层面的信息，通常一个北极星业务线会有一个对应的技术团队为该业务研发业务系统，但支持该业务的可能还有如业务中台、订单引擎等公共技术团队。因此，北极星的“业务线”和灭火图的“系统”是一对多的关系。

输出：北极星业务线对应的灭火图“系统”，以及参与进一步工作的研发、测试或SRE人员。

步骤二：梳理灭火图“系统”指标

• 指标选取：指标梳理的关键实际是梳理核心功能和核心模块，即确定哪些功能和哪些模块需要进入灭火图。
• 指标来源：功能指标在平台上目前支持来源Flashcat的日志分析（网关或模块日志） 、 prometheus类数据源、zabbix数据源；模块指标在平台上目前支持prometheus类数据源；同时，功能和模块的信息都支持从API调用导入；

重要提示： 建议从某一核心“系统”开始梳理，并优先建设“功能”层面的灭火图信息，以后再逐步扩大功能的范围，并增加“模块”层面的信息。 建议只配置核心功能和核心模块，不建议把一个“系统”的所有功能和模块都配置到灭火图，这会干扰对真正的异常源的判断。

输出：灭火图各“系统”的核心功能及核心模块（可选），以及相应指标的来源。

步骤三：配置“系统”及指标

• 灭火图“系统”：配置较为简单，在首页新建即可。
• 功能和模块：在web平台支持单独新增和批量新增两种模式，建议采用批量新增的方式，更为准确高效。如相关信息已在其他系统中有维护，则建议通过API导入并保持动态更新。

配置建议： prometheus的指标可配置多种标签，如namespace、business、module、uri等，这些标签可以在模块的部署过程中（如注入k8s的pod anotation）或在指标采集时注入。 如果prometheus中的标签包含了系统、模块、接口、等级等信息，就可以在灭火图中的批量新增中，通过这些标签将功能（接口）或模块批量筛选出来，一次性添加到灭火图中。 这样无论是研发或SRE只要在源头或指标采集时管理好指标的标准和注入的流程，灭火图就实际成为了prometheus的“服务树”。 相应的筛选配置后续平台支持定期执行，则“服务树”就具备了动态更新的能力。

输出：完成灭火图“系统”以及相应功能和模块（可选）的指标配置。

步骤四：飘红设置和治理

灭火图的功能和模块配置过程中提供了默认的飘红阈值，目前该阈值是静态阈值，配置完成后需要对该阈值进行常态的治理调整，以达到最佳的状态。

重要提示： 灭火图的理想效果：如北极星指标出现报警，则相应的灭火图一定有飘红，否则，北极星指标正常，相应的灭火图都应该是绿色的。 灭火图的飘红阈值不建议设置的过于严格，否则可能导致飘红过多影响判断。对于容错率高的业务，功能成功率建议设置到90%及以下，模块存活率视实例的数量，可以设置为如80%。

输出：常态巡检灭火图，发现系统隐患的同时，对卡片飘红阈值进行调整治理。