之前新东方的老师分享了他们通过 Telegraf、Loki、Nightingale 等工具来监控机器硬件状态的方案，具备很强的灵活性、平台性。本文会介绍一个相对轻量的方式，只需要一个二进制+一个脚本即可搞定，给各位朋友提供一种新的选择。
核心要点
- 物理机硬件健康状态可以通过带外 SNMP 获取，关键在于找到厂商 MIB 中对应的整体健康状态 OID。
- Telegraf + Loki + Nightingale 的方案更灵活，适合统一采集、存储和告警管理。
- catpaw 的 sfilter 插件更轻量：执行脚本拿到 stdout，再用字符串匹配
WARNING、CRITICAL等状态产生事件。 - 如果目标只是把硬件异常推送给 Flashduty 做聚合降噪、认领升级和通知，一个二进制加一个脚本就够用。
| 方案 | 主要组件 | 适合场景 | 代价 |
|---|---|---|---|
| Telegraf + Loki + Nightingale | SNMP input、Loki output、夜莺告警 | 已经有统一采集和日志平台，需要灵活扩展 | 组件多，链路较长 |
| catpaw sfilter | catpaw、shell 脚本、SNMP 命令 | 只需要检测关键字并推送事件 | 需要自己维护脚本和匹配规则 |
新东方的方案
物理机可以通过带外开启 SNMP，通过 SNMP 可以获取各个硬件模块的健康状态，Telegraf 提供了很多 input、output 插件，我们可以使用 Telegraf 的 snmp input 插件采集硬件状态信息，使用 loki output 插件写入 Loki，然后使用 Nightingale 做告警规则配置（ Loki 兼容 Prometheus 的 Querying 接口），产出告警事件，之后可以发给钉钉、企微，或者发给 Flashduty 做告警聚合降噪、排班、认领、升级等后续处理。
实操步骤
1. snmp 插件准备
snmp监控主要通过各种oid节点获取对应信息，分为get(单值)、walk(多值)，telegraf的snmp插件默认是取单值，如果需要多值，可以找对应的table类型节点进行采集。
# 单值节点
[[inputs.snmp.field]]
name="uptime"
oid=".1.3.6.1.2.1.1.3.0"
# 多值节点，table类型
[[inputs.snmp.table]]
oid = ".1.3.6.1.2.1.31.1.1"
name = "interface"
2. OID节点查找
不同型号的物理机，oid节点不同，可以通过对应型号的MIB文件进行查找。除了单独查找每个硬件的状态oid外，MIB文件中一般还能找到服务器整体状态的OID节点，可以直接取这个值，以下例子为浪潮服务器：
正常取值为"OK"、“Normal”，有报警的话取值为"WARNING"、“CRITICAL”。
采集OID=‘INSPUR-MIB::serverSystemHealthTable’（转换数字为’.1.3.6.1.4.1.37945.2.1.2.13.1’），可以先用snmpwalk命令看下取值：
#正常节点
snmpwalk -v3 1.1.1.1 INSPUR-MIB::serverSystemHealthTable
INSPUR-MIB::serverCurPowerState."" = STRING: "Power On"
INSPUR-MIB::serverUIDState."" = STRING: "UID Off"
INSPUR-MIB::serverCPUState."" = STRING: "OK"
INSPUR-MIB::serverMemoryState."" = STRING: "OK"
INSPUR-MIB::serverHDDState."" = STRING: "OK"
INSPUR-MIB::serverFANState."" = STRING: "OK"
INSPUR-MIB::serverPSUState."" = STRING: "OK"
INSPUR-MIB::serverRAIDState."" = STRING: "OK"
INSPUR-MIB::serverTempState."" = STRING: "OK"
INSPUR-MIB::serverHealthState."" = STRING: "OK"
#异常节点
snmpwalk -v3 2.2.2.2 INSPUR-MIB::serverSystemHealthTable
INSPUR-MIB::serverCurPowerState."" = STRING: "Power On"
INSPUR-MIB::serverUIDState."" = STRING: "UID Off"
INSPUR-MIB::serverCPUState."" = STRING: "OK"
INSPUR-MIB::serverMemoryState."" = STRING: "WARNING"
INSPUR-MIB::serverHDDState."" = STRING: "OK"
INSPUR-MIB::serverFANState."" = STRING: "OK"
INSPUR-MIB::serverPSUState."" = STRING: "OK"
INSPUR-MIB::serverRAIDState."" = STRING: "OK"
INSPUR-MIB::serverTempState."" = STRING: "OK"
INSPUR-MIB::serverHealthState."" = STRING: "WARNING"
INSPUR-MIB::serverCPUStandardStatus."" = STRING: "Normal"
INSPUR-MIB::serverMemoryStandardStatus."" = STRING: "Warning"
INSPUR-MIB::serverHDDStandardStatus."" = STRING: "Normal"
INSPUR-MIB::serverFANStandardStatus."" = STRING: "Normal"
INSPUR-MIB::serverPSUStandardStatus."" = STRING: "Normal"
INSPUR-MIB::serverRAIDStandardStatus."" = STRING: "Normal"
INSPUR-MIB::serverTempStandardStatus."" = STRING: "Normal"
INSPUR-MIB::serverHealthStandardStatus."" = STRING: "Warning"
通过采集状态可以看出 2.2.2.2 这个机子memory为报警状态。具体如何配置 Telegraf，如何配置夜莺和 Loki 对接，请参看文章：新东方老师教你使用 Telegraf + Loki + Nightingale 实现硬件监控。
既然 snmpwalk 可以拿到具体内容了，也知道要告警的关键字是 WARNING、CRITICAL，实际不用这么复杂也可以告警。下面我们介绍使用 catpaw 的方案。
catpaw 的方案
catpaw 是一个事件监控工具，提供了多种插件，从 v0.4.0 版本开始，提供了 sfilter 插件，具体逻辑是：通过执行脚本或命令获取输出（stdout），然后对输出的内容做字符串匹配，如果匹配到了，就可以产生告警事件。把告警事件推给 Flashduty 即可。
1. 安装 catpaw
catpaw 的安装非常简单，只需要下载二进制文件即可，下载地址：https://download.flashcat.cloud/catpaw-v0.4.0-linux-amd64.tar.gz，目前提供的是 linux-amd64 的安装包，如果有其他平台的安装包的需求，可以联系我。
2. 配置 sfilter 插件
sfilter 插件的配置在 conf.d/p.sfilter/sfilter.toml，样例如下：
[[instances]]
command = "/path/to/sfilter-scripts/system-health.sh"
# # script timeout
timeout = "10s"
# check rule name
check = "Check system health state"
# support glob
filter_include = ["*WARNING*", "*CRITICAL*"]
filter_exclude = []
# # gather interval
interval = "30s"
[instances.alerting]
## Enable alerting or not
enabled = true
## Same functionality as Prometheus keyword 'for'
for_duration = 0
## Minimum interval duration between notifications
repeat_interval = "5m"
## Maximum number of notifications
repeat_number = 3
## Whether notify recovery event
recovery_notification = true
## Choice: Critical, Warning, Info
default_severity = "Warning"
3. 编写脚本
system-health.sh 脚本是需要我们准备的，比如就简单的探测一下 192.168.3.4 机器的系统健康状态（以浪潮机器举例），脚本内容如下：
#!/bin/sh
snmpwalk -v2c -c public 192.168.3.4 INSPUR-MIB::serverSystemHealthTable
4. 配置事件推送地址
catpaw 只负责产生事件，不负责事件的后续处理（告警聚合降噪、认领升级、排班、多渠道触达等），这些功能交由 Flashduty，在 Flashduty 的协作空间中创建一个自定义事件的集成，点击就可以看到推送地址了：
把截图中这个 URL 配置到 catpaw 的 config.toml 中。
5. 启动 catpaw
nohup ./catpaw --configs conf.d &> catpaw.log &
如果服务器有硬件故障，就会产生告警了，完活！enjoy…make a better world :)
FAQ
Q1：什么时候选 Telegraf + Loki + Nightingale？ A：如果你已经有统一采集、日志存储和夜莺告警链路，或者希望把硬件状态作为日志/指标统一治理，Telegraf + Loki + Nightingale 更适合。
Q2：什么时候选 catpaw sfilter？
A：如果目标只是定期执行 snmpwalk，匹配 WARNING、CRITICAL 这类关键字并推送告警事件，catpaw sfilter 更轻量，部署和理解成本更低。
Q3：这个方案的关键风险是什么？ A：关键在 OID 和脚本维护。不同厂商、不同型号的 MIB 节点可能不同，脚本里要确认目标机器、SNMP 版本、community 或认证参数都正确。
结论
硬件健康状态监控的本质不是组件越多越好，而是稳定拿到状态、准确识别异常、及时把事件送到后续处理系统。复杂方案适合平台化治理，轻量方案适合快速覆盖明确场景。本文的 catpaw sfilter 路线，就是用最少组件完成“采集输出、匹配异常、推送事件”这条闭环。
