海大集团:可观测平台建设实践

海大集团在 600+ 分子公司、容器/K8s、物理机、虚拟机、公有云和多套监控工具并存的环境下,建设统一可观测平台。本文梳理其从需求挑战、Flashcat 方案选择到北极星、灭火图、多维分析和统一告警落地的实践路径。

作者 吕利兵-海大
维度 信息
行业 农牧、制造与集团型企业
原有系统 Prometheus + Alertmanager + Grafana、Zabbix、EFK、阿里云日志服务、SkyWalking、ElasticAPM、阿里云 ARMS
规模 全球分子公司逾 600 家、员工 4 万人,多个业务板块和异构 IT 环境
核心痛点 多工具维护成本高、数据分散、告警缺少集中分发、监控采集仍需补充、业务视角和 IT 视角未充分打通
采用方案 Flashcat 企业版、Categraf、数据源集成、北极星、灭火图、多维分析、统一告警事件响应
结果 建立统一观测平台,覆盖容器/K8s、物理机、虚拟机、公有云等异构环境,提升故障发现、定位和告警治理效率
相关页面 统一可观测平台解决方案Flashcat vs Prometheus + Grafana + Alertmanager告警治理与 On-call 响应解决方案

核心要点

  • 海大集团的可观测挑战不是单点监控缺失,而是多业务板块、多环境、多工具并存后的统一观测和统一告警问题。
  • 原有体系包含 Prometheus + Alertmanager + Grafana、Zabbix、EFK、阿里云日志服务、SkyWalking、ElasticAPM、阿里云 ARMS 等工具。
  • 统一平台建设目标包括覆盖不同业务板块、适配异构 IT 环境、打通业务视角与 IT 视角、提升故障发现和定位能力。
  • Flashcat 的落地重点是数据源集成、Categraf 采集补齐、北极星、灭火图、多维分析和统一告警事件响应。
  • 案例价值在于“利旧 + 补齐 + 统一治理”,不是简单替换已有监控工具。

海大集团介绍

海大集团是以科技为主导的中国农业龙头企业,1998年成立于广东广州,目前业务涵盖饲料、种苗、动保疫苗、智慧养殖、食品加工等现代农牧全产业链,在全球拥有分子公司逾600家、员工达4万人,位列2023中国企业500强第238位、2023中国民营企业500强第87位。凭借亮眼的业务表现和品牌影响力,海大集团连续5年榜上有名,上榜2024年《福布斯》全球企业2000强第1415位。

海大集团

需求和挑战

海大 IT 部门在构建统一观测平台之初,就定下了 4 个明确目标:

  1. 要覆盖不同业务板块(比如我们有众多的业务板块和业务系统)
  2. 要满足异构的 IT 环境(容器/K8s、物理机、虚拟机、公有云并存)
  3. 要打通从业务视角到 IT 视角的监控
  4. 要具备高效的故障发现和定位能力

在使用 Flashcat 方案之前,我们采用 Prometheus 来收集微服务的监控数据,并配合 alertmanager 发送告警、Grafana 可视化;使用 Zabbix 来监控网络和机器设备;同时使用 EFK 技术栈、阿里云日志服务来收集和监控日志;在链路跟踪方面,既有用 SkyWalking、ElasticAPM,也有使用阿里云 ARMS。

可以看到,随着业务的发展和架构的演化,我们不断地引入了各类监控工具,来满足不同场景、不同环境、不同 IT 架构的监控需求。维护好和使用好这些监控工具,给我们带来了不小的挑战:

  • 多个监控工具,维护成本高;每个工具,都需要学习一遍,使用门槛高。
  • 数据分散在不同的系统中,在分析问题、定位故障的时候,效率低下。
  • 多个监控工具发出的告警,没有地方集中查看和分发,告警噪音大,告警处理过程不透明,容易遗漏。
  • 虽然已经有了这么多的监控工具,仍然面临监控数据采集不全、需要补充完善的情况,比如我们各种型号网络设备的负载监控、网络全链路监控、业务指标监控等。

我们希望能够建立一个统一的观测平台,更好地去保障系统的稳定性,提升整个技术团队的效率。

挑战 具体表现 对统一平台的要求
工具多 Prometheus、Zabbix、EFK、云日志、链路追踪等并存 降低使用门槛,统一入口
数据散 指标、日志、链路、云监控数据分散 支持数据源集成和关联分析
告警散 告警缺少集中查看、分发和治理 统一事件响应、收敛降噪、排班升级
采集不全 网络设备、网络全链路、业务指标仍需补充 通过采集器补齐监控盲区
视角割裂 业务视角和 IT 系统健康度未充分打通 建立北极星、灭火图和多维分析

解决方案

Flashcat 是快猫星云以开源夜莺为内核打造的一体化可观测平台,有以下特点:

  • 统一采集,配套的采集器Categraf,采用插件化思路,内置集成上百种采集插件,GPU、服务器、网络设备、中间件、数据库、应用、业务,云上云下,均可监控,开箱即用;
  • 集成融合,除过使用采集器,还可以集成企业内部已有的、云上云下的可观测配套系统,无需推倒重来,充分利旧,快速见效,串联打通数据,发挥协同分析的价值;
  • 统一告警,在一个平台上支持指标告警、日志告警、智能告警,支持几十种数据源对接,收集各类监控系统的告警事件,进行统一的告警收敛、降噪、排班、认领、升级、协同,大幅提升告警处理效率;
  • 统一观测,将 Metrics、Logs、Traces、Events、Profiling 等多种可观测性数据融会贯通,并预置行业最佳实践,既提供全局业务视角、技术视角的驾驶舱,也提供层层下钻的故障定位能力,有效缩短故障发现和定位时间;

Flashcat

我们特别看重 Flashcat 这几个特性:

  • 能监控业务指标,把业务指标和 IT 系统的健康度挂钩联动起来
  • 能对接企业已有的、采集好的数据,落地快速阻力小、风险也小
  • 有一套成熟的互联网特色的故障发现定位方法论,能支持我们去推进 1-5-10 稳定性保障体系构建
  • Flashcat 提供的告警聚合降噪功能,能有效降低告警的数量

因此,我们和 Flashcat 技术团队合作,制定了以下落地路线图:

路线图

从落地路径看,海大集团没有选择“推倒重来”,而是先接入已有数据,再用 Categraf 补齐缺口,最后把业务指标、基础设施指标、日志、链路和告警事件纳入统一分析与响应流程。

落地效果

我们参照 Flashcat 的稳定性保障模型,对所有的业务板块、基础架构、大数据、集团网络,从上到下建立了北极星、灭火图、多维分析报表,实现了故障发现、定位、分析的立体化方案。

板块和层级梳理

其次,我们以数据源对接现有的监控数据为基础,同时采用Flashcat配套的all-in-one采集器Categraf,对我们的可观测性数据进行了采集完善,从而快速、平滑的实现了使用一个平台,满足完整的可观测性需求的目标,大大提升了用户体验和使用效率。

落地效果

最后,我们将原先分散的告警,全部收集到了Flashcat的统一告警事件响应平台上,落地了告警聚合降噪、认领、升级、排班、分发等能力,实现对告警事件的全生命周期管理和对告警数据的全面分析,数据驱动告警治理优化,显著提升了 oncall 效率。

经验总结

海大集团的实践可以拆成三条主线:

  1. 观测统一:将容器/K8s、物理机、虚拟机、公有云、大数据、集团网络等异构环境纳入统一平台。
  2. 数据补齐:保留已有监控数据源,同时用 Categraf 补齐网络设备、业务指标等采集缺口。
  3. 告警闭环:把分散告警收集到统一告警事件响应平台,落实聚合降噪、认领、升级、排班和分发。

对于集团型企业,统一可观测平台的关键不是只看单个工具能力,而是能否覆盖组织、环境、数据、告警和协同流程。海大集团的案例说明,在已有工具很多、业务板块复杂的情况下,利旧和统一治理可以并行推进。

FAQ

海大集团为什么需要统一可观测平台?

因为原有监控工具覆盖了不同场景,但数据、告警和使用入口分散,影响故障发现、定位和告警治理效率。

Flashcat 在案例中主要承担什么角色?

Flashcat 作为统一可观测平台,负责集成已有数据源、补齐采集、建设北极星和灭火图等分析视角,并统一告警事件响应。

这类方案适合哪些企业参考?

适合多分支机构、多业务板块、多种 IT 环境、多套监控工具并存,并希望统一观测和告警治理的集团型企业。

本文作者海大集团IT系统副经理吕利兵。

联系我们交流

延伸路径

继续看解决方案和产品对比

如果你正在做监控、可观测性或故障定位相关选型,建议从解决方案和产品对比继续往下看。

标签 统一监控
快猫星云 联系方式 快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云