透过 node-exporter 彻底弄懂机器监控：01. node-exporter 框架讲解

巴辉特 2024-05-24 00:00:01

前言

Prometheus 生态里有很多采集器负责各类监控数据的采集，其中使用最广泛的，显然是 node-exporter，负责 Linux、BSD 等系统的常规监控指标的采集，比如 CPU、内存、硬盘、网络、IO 等。其 github 地址是：https://github.com/prometheus/node_exporter 。很多人都用过，但对其细节未必清楚。

我想写一个小专栏，通过 node-exporter 这个采集器，讲解各类指标的含义、采集方法、使用场景、注意事项。顺带讲解 Linux 的很多观测手段。想必对于初中级研发、运维人员都会有帮助，专栏依旧会放到星球里，争取让星球的资源慢慢更为丰富起来。这块写完之后，后面可以继续 mysql、redis 等相关的专栏，一点点磕。

安装 node-exporter

要想方便调试，理解整个知识，建议还是要把 node-exporter 的代码下载下来，能够本地编译运行。这里我做一个简单演示，我的电脑是 Mac，M1 芯片，首先下载 go 安装包（https://go.dev/dl/）：https://go.dev/dl/go1.22.2.darwin-arm64.tar.gz。一般使用 tar.gz 的文件就好，不用 pkg。

cd /Users/ulric/works/tgz
wget https://go.dev/dl/go1.22.2.darwin-arm64.tar.gz
tar -zxf go1.22.2.darwin-arm64.tar.gz

操作如上，/Users/ulric/works/tgz/go 这个目录就是 go 的安装目录，然后配置环境变量：

export GOROOT=/Users/ulric/works/tgz/go
export GOPATH=/Users/ulric/works/gopath
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

GOROOT 是 go 的安装目录，GOPATH 是 go 的工作目录，PATH 是环境变量，这样配置之后，就可以使用 go 命令了。上面的几行命令可以保存在 ~/.bash_profile 或者 ~/.zshrc 里，这样每次打开终端都会自动加载。

验证 go 环境是否正常安装：

% go version
go version go1.22.2 darwin/arm64

然后下载 node-exporter 的代码：

cd /Users/ulric/works
git clone https://github.com/prometheus/node_exporter.git

然后就可以编译了，如果你的网络环境不好，编译之前可以设置代理：

export GOPROXY=https://goproxy.cn,direct
cd /Users/ulric/works/node_exporter
go build

如果一切正常，就可以运行 node_exporter 做测试了，我先看看其版本：

ulric@ulric-flashcat node_exporter % ./node_exporter --version
node_exporter, version  (branch: , revision: 0d3400ebc976e14d5b87db276bb2ec32f55b4052)
  build user:
  build date:
  go version:       go1.22.2
  platform:         darwin/arm64
  tags:             unknown

如上，就完成了 node-exporter 的源码安装。

启动 node-exporter

生产环境启动 node-exporter，通常是通过 systemd 等方式启动，咱们这里为了学习方便，就直接把进程启动在前台即可：

ulric@ulric-flashcat node_exporter % ./node_exporter --log.level=debug
ts=2024-05-23T04:08:01.560Z caller=node_exporter.go:193 level=info msg="Starting node_exporter" version="(version=, branch=, revision=0d3400ebc976e14d5b87db276bb2ec32f55b4052)"
ts=2024-05-23T04:08:01.560Z caller=node_exporter.go:194 level=info msg="Build context" build_context="(go=go1.22.2, platform=darwin/arm64, user=, date=, tags=unknown)"
ts=2024-05-23T04:08:01.561Z caller=node_exporter.go:199 level=debug msg="Go MAXPROCS" procs=1
ts=2024-05-23T04:08:01.561Z caller=filesystem_common.go:111 level=info collector=filesystem msg="Parsed flag --collector.filesystem.mount-points-exclude" flag=^/(dev)($|/)
ts=2024-05-23T04:08:01.562Z caller=filesystem_common.go:113 level=info collector=filesystem msg="Parsed flag --collector.filesystem.fs-types-exclude" flag=^devfs$
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:111 level=info msg="Enabled collectors"
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=boottime
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=cpu
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=diskstats
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=filesystem
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=loadavg
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=meminfo
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=netdev
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=os
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=powersupplyclass
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=textfile
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=thermal
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=time
ts=2024-05-23T04:08:01.562Z caller=node_exporter.go:118 level=info collector=uname
ts=2024-05-23T04:08:01.565Z caller=tls_config.go:313 level=info msg="Listening on" address=[::]:9100
ts=2024-05-23T04:08:01.565Z caller=tls_config.go:316 level=info msg="TLS is disabled." http2=false address=[::]:9100

可以看到，node-exporter 启动成功，监听在 9100 端口，可以通过浏览器访问：http://localhost:9100/metrics 查看采集到的指标。或者通过 curl 命令：

curl -s http://localhost:9100/metrics

在我的本地 Mac 上，大概会采集 610 个指标，包括：

go 前缀的指标：这是 node-exporter 进程本身的一些指标，比如 gc 耗时、内存使用等
node 前缀的指标：机器的一些常规指标，比如 CPU、内存、硬盘、网络、IO 等，咱们后面重点研究这类指标
promhttp 前缀的指标：node-exporter 的 http 服务的一些指标，比如请求次数

node-exporter 启动参数

./node_exporter --help 可以查看 node-exporter 的启动参数，主要参数：

collector 前缀的指标：控制是否启用某个采集器，node-exporter 内置了多个采集器，比如 cpu、meminfo、ntp 等都是不同的采集器；collector 前缀的还有一些参数是控制各个采集器具体行为的，比如 --collector.ntp.server 控制 ntp 采集器的 ntp 服务器地址
web 前缀的指标：控制 node-exporter 的 http 服务，比如 --web.listen-address 控制监听地址，--web.telemetry-path 控制暴露指标数据的 API 路径
log 前缀的指标：控制日志打印，比如 --log.level 控制日志级别

大量参数都是围绕 collector 的，因为 node-exporter 的核心就是采集器，不同的采集器负责不同的指标采集。有部分 collector 是默认开启的，有部分是默认关闭的，README 中有详细说明。对于那些默认关闭的 collector，如果你想启用，就要小心测试了，看看采集耗时、对机器的资源占用的影响等。

node-exporter 源码结构

代码仓库根目录下，有个 node_exporter.go，main 函数入口就在这里。collector 目录下是各个插件的实现，比如 meminfo 相关的：

ulric@ulric-flashcat collector % ll meminfo*
-rw-r--r--  1 ulric  staff  1998 12 18 17:20 meminfo.go
-rw-r--r--  1 ulric  staff  2515 12 18 17:20 meminfo_darwin.go
-rw-r--r--  1 ulric  staff  1853 12 18 17:20 meminfo_linux.go
-rw-r--r--  1 ulric  staff  1163 12 18 17:20 meminfo_linux_test.go
-rw-r--r--  1 ulric  staff  1520 12 18 17:20 meminfo_netbsd.go
-rw-r--r--  1 ulric  staff  4655 12 18 17:20 meminfo_numa_linux.go
-rw-r--r--  1 ulric  staff  2950 12 18 17:20 meminfo_numa_linux_test.go
-rw-r--r--  1 ulric  staff  2483 12 18 17:20 meminfo_openbsd.go
-rw-r--r--  1 ulric  staff  2336 12 18 17:20 meminfo_openbsd_amd64.go

这些源码文件分成了很多不同的后缀，这是因为不同的系统，meminfo 的实现是不同的，go 语言通过后缀来区分不同的系统，比如 meminfo_darwin.go 是 Mac 系统的实现，meminfo_linux.go 是 Linux 系统的实现。

不同的插件，都会有个 init() 函数，这个函数会在 node-exporter 启动的时候被调用，用来注册插件。比如 meminfo 插件：

func init() {
	registerCollector("meminfo", defaultEnabled, NewMeminfoCollector)
}

所谓的插件注册，核心就是把各个插件的信息（名称、是否启用、工厂函数）保存在全局变量中，这样一来，node-exporter 启动的时候，就可以根据这些信息，动态创建插件实例，然后调用采集函数，采集指标。典型的插件化设计思路。

插件在 node-exporter 中抽象为一个 interface，只有一个 Update 函数：

type Collector interface {
	// Get new metrics and expose them via prometheus registry.
	Update(ch chan<- prometheus.Metric) error
}

比如内存采集插件 meminfo，就实现了这个接口：

func (c *meminfoCollector) Update(ch chan<- prometheus.Metric) error {
	var metricType prometheus.ValueType
	memInfo, err := c.getMemInfo()
	if err != nil {
		return fmt.Errorf("couldn't get meminfo: %w", err)
	}
	level.Debug(c.logger).Log("msg", "Set node_mem", "memInfo", memInfo)
	for k, v := range memInfo {
		if strings.HasSuffix(k, "_total") {
			metricType = prometheus.CounterValue
		} else {
			metricType = prometheus.GaugeValue
		}
		ch <- prometheus.MustNewConstMetric(
			prometheus.NewDesc(
				prometheus.BuildFQName(namespace, memInfoSubsystem, k),
				fmt.Sprintf("Memory information field %s.", k),
				nil, nil,
			),
			metricType, v,
		)
	}
	return nil
}

node-exporter 框架层面，会创建 prometheus.Metric 类型的 channel，作为一个监控数据接收器，传给 Update，各个插件实现 Update 函数，把采集到的指标数据写入 channel，node-exporter 框架层面，会把这些数据通过 /metrics 接口暴露出来。