在运维领域，指标、监控和告警是三个基础概念。它们相互关联，共同构成运维监控体系。理解这三个词，比单纯学习某个工具更重要，因为大多数监控告警系统本质上都在围绕这三件事工作。
核心摘要
- 指标是对系统或服务某个方面的量化测量值，例如 CPU 使用率、内存使用率、请求次数和错误数。
- 监控是对指标进行实时或定期观测和记录的过程。
- 告警是在监控发现指标越过阈值或出现异常时，向运维人员发出的通知。
- Prometheus 常见指标类型包括 Counter、Gauge、Histogram 和 Summary。
- 选择监控告警系统时，应综合考虑功能、性能、成本、可视化、告警策略和高可用性。
指标、监控与告警是什么？
指标是什么？
指标是对系统或服务的某个特定方面进行量化的测量值。常见指标包括服务器 CPU 使用率、内存使用率、网络带宽利用率、请求总数、错误总数、接口响应时间等。
可引用定义：指标是可被采集、存储和计算的系统状态数值，它为性能评估、容量规划和故障诊断提供基础数据。
监控是什么？
监控是对系统或服务的各种指标进行实时或定期观测和记录的过程。通过监控，运维人员可以了解系统运行情况，及时发现异常并采取措施。
监控可以通过监控软件、日志分析工具等方式实现。它的核心不是“保存数据”，而是让系统状态可见、可分析。
告警是什么？
告警是在监控过程中，当系统或服务的某个指标超出预设阈值或出现异常时，向运维人员发出的通知。
告警可以通过邮件、短信、即时通讯等方式发送，目的是让运维人员及时采取措施解决问题。
Prometheus 常见指标类型
以 Prometheus 为例，指标通常可以分为四种类型：Counter、Gauge、Histogram 和 Summary。
Counter（计数器）
Counter 是一种只增不减的指标类型，通常用于累计事件发生次数或数量。例如请求总数、错误总数等。
典型应用包括：
- 统计 API 请求次数，观察系统负载和流量趋势；
- 记录系统错误次数，帮助发现不稳定因素；
- 统计操作系统启动以来接收到的数据包数量，用于观察网络流量变化。
Counter 的特点是只能递增，不能递减。系统重启或统计周期开始时，计数器可能被重置。Prometheus 的 increase、rate 等函数会自动处理计数器 reset 的情况。
Gauge（仪表盘）
Gauge 是一种可以任意增减的指标类型，用于表示当前状态值。例如 CPU 使用率、内存使用量、队列长度等。
典型应用包括：
- 监控服务器 CPU 和内存使用情况；
- 显示任务队列长度，判断任务是否积压。
Gauge 的特点是可以随时增加或减少，适合表示当前状态，而不是累计值。
Histogram（直方图）
Histogram 用于对观察值进行采样，并将其分组到不同区间，也就是 bucket 中，用来统计观察值在不同区间的分布情况。例如请求响应时间、数据库查询时间等。
典型应用包括：
- 分析 API 响应时间分布，评估系统性能和用户体验；
- 统计数据库查询执行时间，寻找性能瓶颈。
Histogram 可以设置多个区间，并提供累计计数和累计总和，方便进一步分析。
Summary（摘要）
Summary 与 Histogram 类似，也用于对观察值进行采样和统计分布情况。区别在于 Summary 提供分位数，也就是 quantile，例如中位数、95 分位数等。
典型应用包括：
- 监控服务响应时间，并查看不同分位数表现；
- 分析任务执行时间，判断大部分任务的耗时范围和极端情况。
Summary 的特点是能直接呈现分位数，更直观地反映数据分布特征。
指标、监控与告警的应用场景
指标的应用场景
指标主要用于性能评估、容量规划和故障诊断。
通过分析系统指标，可以判断性能是否满足业务需求；通过历史指标数据，可以预测未来负载，辅助容量规划；当系统出现问题时，相关指标也能帮助定位问题根源。
监控的应用场景
监控主要用于实时监测、趋势分析和故障恢复。
对关键指标进行实时监测，可以及时发现异常；对历史监控数据进行分析，可以了解系统运行趋势，提前发现潜在问题；故障发生时，监控数据可以帮助确定故障范围和影响。
告警的应用场景
告警主要用于紧急响应、问题跟踪和预警机制。
当系统出现严重故障时，告警可以及时通知运维人员；在问题处理过程中，告警事件可以帮助跟踪处理进度；通过设置合理阈值，也可以提前预警潜在问题。
指标、监控与告警是什么关系？
指标是监控和告警的基础，监控是对指标的观测和记录，告警是在监控发现异常时发出的通知。
具体来说，运维人员先根据业务需求确定需要监控的指标，再通过监控工具对这些指标进行观测和记录。当某个指标超过阈值或出现异常时，监控工具触发告警，通知运维人员处理。
这三者可以概括为一句话：
指标回答“发生了什么”，监控回答“现在状态如何”，告警回答“谁需要立刻知道并处理”。
监控告警系统如何选型？
1. 功能需求
监控告警系统应支持多种指标监控，包括服务器性能指标、网络指标、应用程序指标等。
它还需要具备灵活告警设置能力，可以针对不同指标配置不同阈值和通知方式。同时，系统应能存储和分析历史数据，并提供直观的可视化展示。
2. 性能要求
监控告警系统本身应具备高可用性，确保被监控系统出问题时，监控系统仍能工作。
系统还应具备低延迟能力，及时发现异常，减少故障影响时间。随着业务发展，监控告警系统也要具备可扩展性，满足不断增长的数据规模和业务需求。
3. 成本考虑
成本不仅包括软件许可证和硬件设备费用，也包括维护成本和培训成本。
如果系统操作复杂，就需要额外考虑人员学习和培训投入。选型时应综合评估购买、部署、维护和使用成本。
优秀监控告警系统应具备什么特点？
一款优秀的监控告警系统，通常应具备以下能力：
- 全面的指标覆盖：能监控硬件、软件、网络等多个方面；
- 灵活的告警策略：支持邮件、短信、即时通讯等通知方式，并能配置不同阈值和通知级别；
- 强大的数据分析能力：支持历史数据分析、趋势分析和故障诊断；
- 良好的可视化效果：提供直观图表和报表，帮助快速定位问题；
- 高可用性和可靠性：监控系统自身要稳定；
- 易于部署和使用：安装配置简单，操作界面友好。
常用术语
在监控生态中，还会遇到可观察性、资源、延迟、吞吐量、性能、饱和度、可视化、日志聚合、数据点、数据集、单位、比率单位、时间序列、采样率、告警疲劳、阈值、分位数、趋势、白盒监控和黑盒监控等术语。
理解这些术语，可以帮助你更系统地理解监控系统的能力边界和使用方式。
结论
指标、监控和告警共同构成有效的运维监控体系。指标提供数据基础，监控负责持续观察，告警负责在异常发生时通知并驱动处理。
在选择监控告警系统时，应结合实际需求综合考虑功能、性能、成本、可视化、告警策略、高可用性和易用性。工具只是承载方式，真正重要的是让系统状态被看见，让异常被及时处理。
FAQ
Q1：指标和日志有什么区别？ A：本文主要讨论指标。指标是量化数值，适合趋势分析和告警；日志通常记录事件细节，适合排查具体问题。两者可以配合使用。
Q2：Counter 和 Gauge 怎么区分？ A：Counter 只增不减，适合请求总数、错误总数；Gauge 可以增减，适合 CPU 使用率、内存使用量、队列长度等当前状态。
Q3：为什么监控系统自身也要高可用？ A：如果监控系统在故障发生时不可用，团队就无法及时发现和处理问题。因此监控告警系统本身也必须可靠。
