为什么观测数据无法定位根因?

一次主机 IO 打满的排查:FlashAI 从灭火图发现异常,通过任务通道逐步取证,从 mysqld 进程追查到具体 SQL,并在授权边界内完成根因定位。

作者 快猫星云

前几天我们团队在一次演练里,故意给一台主机(就叫它 demo-03)制造了一个异常。但我不知道做这个背景,利用我们自己的 FlashAI 做了一次排查。结果挺有意思,也挺值得拿出来说说。

观测数据告诉我们什么

灭火图上,demo-03 这张卡片飘红了。点进去看,指标面板显示:CPU 使用率持续在 90% 以上,磁盘 IO Util 几乎贴着 100%,系统平均负载一路往上爬。内存、磁盘容量、inode、网络错误这些维度全都正常。

灭火图中 demo-03 主机异常,IO Util 达到 99.967%

灭火图上的异常现场:demo-03 的磁盘 IO Util 接近 100%。

点击按钮直接触发了 FlashAI 的一轮排查,结论也很诚实:确认了 CPU/IO 高负载这个异常信号,但"现有数据不足以进一步定位根因"。

FlashAI 确认 demo-03 的 IO 和 CPU 高负载,尚未定位到具体进程

FlashAI 根据已有观测数据确认异常,但还缺少具体进程和读写行为的证据。

到这一步,结论其实就是一句正确的废话,——这台机器很忙。至于"为什么忙",观测数据闭上了嘴。指标能告诉你"在流血",但它指不出"伤在哪个器官、刀是什么"。

真正的根因,藏在观测数据的盲区里

真正让我把根因挖出来的,是任务通道(或者叫命令通道)。

FlashAI 的首轮结论里建议通过任务通道做进一步排查,我点击了继续。FlashAI 给这台机器下发了一段只读诊断脚本。第一轮下去,pidstat 直接把罪魁揪了出来:一个 mysqld 进程,读速率冲到十几万 KB/s、写速率冲到近二十万 KB/s,脏页回写还叠了九万多——单进程吃掉了整块 vdb 几乎全部吞吐,CPU 也跟着跑到 110%。其他进程的 IO 都是个位数到几百 KB 这个量级,可以忽略。

FlashAI 通过任务通道定位到持续大量读写磁盘的 mysqld 进程

通过任务通道补充现场证据,定位到 MySQL 容器中的 mysqld 进程。

FlashAI 提出进入 MySQL 容器查询具体 SQL,用户要求继续排查

定位进程后继续深入:进入 MySQL 容器,查看正在执行的 SQL。

这时候答案已经呼之欲出了,但我没停。第二轮,FlashAI 定位到这个 mysqld 跑在 mysql-0 容器里;第三轮,FlashAI 钻进去 SHOW FULL PROCESSLIST,眼前豁然开朗:几十个来自 payment、inventory、catalog 这几个电商微服务的连接,正反复执行着同一种查询——

SELECT body FROM entities WHERE kind='bill' ORDER BY created_at,id LIMIT 1000

没有主键过滤,没有合适的索引,就是对着 entities 大表全表扫一遍、排个序、取一千条,还挂着大量 REPEATABLE READ 的 RUNNING 事务在那儿耗着。redo log 写了 73 个 G,fsyncs 八千多万次。磁盘就是这么被打满的。

到这里,根因才算真正闭环:不是"机器忙",是"这套 demo 应用在失控地全表扫描"。

FlashAI 定位到多个微服务持续高频执行全表扫描式 SQL,打满 MySQL IO 和 CPU

进一步取证到具体 SQL:多个微服务的并发查询持续扫描大量数据。

为什么说这是观测数据够不着的地方

回过头看,这个案例里真正定生死的那几条信息——哪个进程在吃 IO、它跑了什么 SQL、是不是全表扫描 —— 几乎没有一个能靠"把观测数据采得更全"来拿到。

指标、日志、Trace 这些,靠的是事前约定好"我要采什么",有一部分根因通过这些数据也可以完成定位。可问题是,很多情况下你永远没法预知下一次故障会坏在哪个犄角旮旯:这次是 MySQL 的某种 SQL,下次可能是某个进程打满了 fd,再下次可能是一个没被监控到的端口、一段没打进日志的调用栈。想靠一味堆采集去覆盖所有可能性,要么成本高得离谱(每个进程的 IO、每条 SQL 的执行计划都实时上报?),要么根本不现实(很多信息压根不在采集范围内,只能"当时到现场去看")。

所以我的体会是:与其不计成本地采,不如让 AI 有能力决定"下一步我需要什么数据",并且能自助去把它拿回来。

任务通道就是干这个的。它让我不用预先知道要看什么,而是在追查的过程中,顺着线索一步步自己下脚本取证:先看进程,再看容器,再进容器看 SQL。每一步要什么,是上一步的结果决定的,而不是一开始就设计好的。这种"边查边要"的能力,才是根因定位里最稀缺、也最高效的东西。

把排障的过程,真正交给 AI

到这里,我想把话说得更直接一点:让 AI 接管排障过程,已经不是"要不要"的问题,而是"什么时候"的问题,甚至可以说,这一天已经来了。

排障这件事,拆开看其实就是两部分:看懂 “已有的东西意味着什么”,判断 “下一步该看什么”。这两件事恰恰是模型最擅长的 —— 它能同时记着几十个进程的 IO 数据,能在海量 SQL 里一眼筛出全表扫描的异常,不会疲劳、不会漏、不会凭经验主义拍脑袋。说实话,在今天这种海量、高并发的系统面前,单论"细节分析判断"这一亩三分地,AI 已经实实在在地超过了人类专家。这个 Case 就是一个注脚:人类专家要凭经验想到"去机器上敲 pidstat、再钻容器看 processlist",本身就需要极高的水平和运气,而 AI 把这个过程变成了水到渠成的一串命令。

所以,还死死地把"取证、执行"这个权限攥在人手里,非要在每个环节都有人来参与,已经多少不合时宜了。

那人类专家应该去干什么?我认为答案很清楚——去构建 AI 通道的安全边界和护城河。 不再是亲自蹲在机器前敲命令、点鼠标,而是去定义:这台机器能交给 AI 多大的权限、哪些操作永远不允许碰、出格的时候怎么兜底。把"怎么查"放给 AI,把"能查到哪、不能碰哪"攥在自己手里。这才是人类专家该站的位置。

任务通道的顾虑:安全

一提到"让 AI 自助下脚本到机器上执行",大家第一反应基本都是安全:这会不会失控?

这个担心完全合理,也正是 FlashAI 在任务通道上花了最多心思的地方。它做的核心,归结起来就一句:给每一条要下发到机器上的任务/命令,先判一个风险等级;所有任务/命令必须在授权的范围内执行。

按这个原则,只读、不改状态的排查命令,AI 在披露后可以直接去跑 —— 这个 case 里的那些查进程、看 SQL 的命令全在这一档,自始至终没动过一行配置。而一旦涉及写操作、甚至更具破坏性的变更,就牢牢卡在一道由人来把守的关口上:这条命令要做什么,必须先摊开给人看、得到人的确认才放行;风险越高的操作,越要经过更重的确认。

更重要的是,这种分级和授权不由 AI 自己说了算——一台机器能给 AI 多大权限,只能由它的负责人在界面上亲手去定(AI 不能执行);一条命令到底属于只读还是写,也是由平台的评估来判定,而不是靠 AI 自证。AI 没有给自己"升级"或把写操作"洗"成只读的任何口子。

这些机制,FlashAI 已经在越来越多客户的生产环境里实际跑过、验证过。说到底,安全不是靠"不给 AI 干活"来解决的,而是靠"把能干什么、不能干什么、由谁来定"讲清楚、管住。FlashAI 做到的,就是让 AI 既有充分的空间去自助取证,又被永远钉在一条人划好的边界之内。


自从实现了 FlashAI 的任务通道以来,我最深的感触是:观测体系建设的核心工作之一,已从 “尽可能采全数据” 变成了 “权衡哪些数据常态采集,哪些数据临时去取”。与其把采集做得无穷大,不如换个思路——让 AI 拥有"临场取证"的能力,当它需要什么数据时,能自己安全地去拿。

就好像你把自己的笔记本交给 AI Agent 后带给你的震惊一样,把线上服务器“可控“的交给 AI,在排障效果上你会得到同样的震惊。未来的趋势必然是,把排障的判断和取证交给 AI,把安全的边界和护城河留在人手里。

延伸路径

继续看解决方案和产品对比

如果你正在做监控、可观测性或故障定位相关选型,建议从解决方案和产品对比继续往下看。

快猫星云 联系方式 快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云