在第二届 CCF 夜莺可观测性创新论坛上，上海某期货公司的技术专家宋庆羽，为与会同行们分享了期货行业落地 Oncall 的实践经验。
这篇案例重点回答一个问题：在交易连续性要求高、告警量大、值班压力重的期货行业，如何把 Oncall 从“有人接电话”升级为一套可运营的事件响应机制。
核心实践包括：
- 用统一 Oncall 平台承接告警接入、排班、升级、降噪和通知。
- 建立公司级制度与专职岗位，减少值班过程中的不确定性。
- 复用 CMDB 等元数据，把告警分发和上下文补全自动化。
- 用 MTTA、MTTR、工作量统计和 TopK 告警统计持续推动告警治理。
该期货公司是国内首批获得金融期货全面结算业务资格的期货公司，并在中国期货业协会分类中获得AA级评价。公司为客户提供包括商品期货经纪、金融期货经纪、资产管理等在内的全面金融服务。在全国设有 20 余家分公司和 300 余家证券 IB 营业部，业务网络辐射全国。营业收入、净利润、客户数量、客户权益总额、市场份额等经营指标连续多年位列期货行业第一梯队。
宋庆羽在分享中提到，期货行业的运维保障，具有一定的特殊性和独特的挑战：
- 期货业务需根据不同的交易所的分布，存在多时段交易，分为早盘、夜盘，运维全程参与保障，要求运维人员全天需要进行值班；
- 期货交易的连续性、特殊性、实时性、高风险性及交易高峰时的压力等综合因素对期货信息系统的安全稳定运行提出了极高的要求；
- 运维人员平均每周需要处理数万个报警通知，面对庞大的数量，容易导致对报警敏感度下降，错过重要的报警，历史上也曾发生过因遗漏关键报警而引发生产事故；
因此，期货行业的 Oncall 建设不能只停留在通知工具层面。更关键的是把相应的管理机制、技术要求、运营机制落地到统一的监控事件响应平台中，提升告警响应速度，降低运行维护压力，并减少关键告警遗漏风险。
建设思路：平台、制度、元数据和持续运营
| 建设方向 | 目标 | 对应能力 |
|---|---|---|
| 建平台 | 统一告警接入和事件响应流程 | 告警接入、值班排班、报警升级、告警降噪 |
| 建制度 | 让 Oncall 有明确责任和持续改进机制 | 公司级制度、专职团队、遗留问题跟进 |
| 统一元数据 | 降低重复配置和分发错误 | CMDB 对接、标签增强、负责人映射 |
| 持续运营 | 用数据驱动告警治理 | MTTA、MTTR、工作量统计、TopK 告警 |
建平台
在平台选型层面，有 5 个因素需要重点关注：
- 灵活的排班和值班能力，以及报警升级机制。
- 交易日历功能，以适配金融行业的业务运营特点。
- 能够对接体系内各种告警数据源。
- 具备统一的告警降噪和告警抑制策略。
- 具备元数据对接能力，能和 CMDB 等元数据中心打通。
经过调研和测试，该公司选择 Flashduty 作为 Oncall 平台。
在接入现有监控事件时，Flashduty 提供的“邮件集成” + “标签增强”组合功能，解决了一个现实问题：部分系统只提供邮件告警方式，很难通过 webhook 和第三方联动，也难以直接实现告警 IM 化。
例如网络分析（天旦、科莱）、OceanBase、TdSQL、沃趣 Qfusion、SmartX 平台等系统，告警接入方式不完全一致。Flashduty 能够解析发送过来的邮件内容，对邮件标题和内容进行解析，自动提取告警详情、阈值、系统状态更新等关键信息，将其转化为结构化数据，再通过 Flashduty 的通知能力，用不同渠道触达到运维人员。
建机制
通过建立符合业务场景的机制，可以减少 Oncall 过程中的不确定因素，提升工程师的安全感和处理效率。对金融行业来说，机制建设至少要回答这些问题：谁在什么时候值班、什么级别告警必须升级、无人响应时如何兜底、处理完成后如何复盘、遗留问题由谁跟进。
统一元数据
以 CMDB 为例，CMDB 中已经存储了资源和资源的关系、资源与人的关系。如果 Oncall 平台可以直接利用这些信息，就能实现更自动化的告警分发，避免重复配置，也减少元数据不一致带来的风险。
Flashduty 支持与 CMDB 对接，从 CMDB 中获取资产依赖映射信息，并使用这些元信息对告警进行标签增强，丰富告警上下文。这样带来两个好处：
- 借助扩充后的标签，更自动化地分发告警。
- 工程师收到告警后，可以看到更丰富的上下文信息，更快判断故障影响面和严重程度。
持续运营
“没有度量就没有改进”。当所有告警都集中到统一平台后，每个告警处理全生命周期中的节点都会被记录下来。Flashduty 平台提供多种维度的数据统计，包括工作量统计、TopK 告警统计、MTTA、MTTR 统计等。管理者可以基于这些统计数据，更有针对性地推动 Oncall 工作优化。
对持续运营来说，统计数据至少可以服务三类决策：
- 通过 TopK 告警识别最值得治理的重复告警。
- 通过 MTTA 观察告警触达到响应之间是否存在延迟。
- 通过 MTTR 观察故障处理流程是否存在协作或信息缺口。
阅读 https://www.flashduty.com 了解 Flashduty 更多信息。
宋老师微信：giggs06，想要和宋老师深度交流请自行添加其微信。
