Kubernetes 集群逐渐变大，其中 ETCD 作为 Kubernetes 的状态存储，其稳定性会直接影响控制面的读写能力。想确保 ETCD 集群稳定，不能只看“进程是否存活”，而要同时管理硬件资源、网络质量、集群拓扑、监控告警、备份恢复和升级流程。
本文内容较多，先给一个省流版：
- 提供高可用的 ETCD 集群，至少 3 个节点，大集群建议 5 个节点，不需要更多了，更多节点 ETCD 性能会下降。
- ETCD 机器提供高 IO 性能的硬盘，ETCD 对硬盘的要求很高。
- 确保足够的 CPU、内存、网络资源，超大集群一般要配置 16G 的内存，集群之间通信也要确保网络质量和带宽。
- 配置 ETCD 的监控，监控 ETCD 的磁盘、CPU、内存、网络等指标，还有 ETCD 的提交延迟指标。
- 建议把 ETCD 集群放在专用的机器上，不要和其他服务混用，避免其他服务影响 ETCD 性能。也不要和 Kube-apiserver 放在一起，避免 Kube-apiserver 的压力影响 ETCD 性能。
OK，下面是更详细的内容。
ETCD 稳定性检查清单
| 维度 | 关键要求 | 风险信号 |
|---|---|---|
| 节点数量 | 通常采用 3 或 5 个节点，保持奇数成员 | 成员过多导致写入链路变长，性能下降 |
| 存储 | 使用高性能 SSD/NVMe，预留容量 | 磁盘延迟升高、空间不足、频繁 I/O 等待 |
| 计算资源 | 预留 CPU 和内存，避免资源争抢 | CPU 饱和、内存不足、索引缓存效果下降 |
| 网络 | 节点间低延迟、稳定带宽、隔离关键流量 | 心跳异常、同步延迟、网络分区 |
| 部署隔离 | ETCD 尽量独占机器，不与高压服务混布 | APIServer 或其他服务负载影响 ETCD |
| 运维保障 | 监控、备份、恢复演练、升级计划齐全 | 只有备份没有恢复验证，或升级无回滚预案 |
一、硬件资源规划与优化
- 存储性能
- 磁盘I/O性能：ETCD对磁盘I/O操作比较敏感，因为它需要频繁地写入数据。应选择高性能的存储设备，如SSD（固态硬盘）来存储ETCD数据，以确保快速的写入和读取速度。例如，使用NVMe协议的SSD可以提供比传统SATA SSD更高的I/O带宽和更低的延迟，减少ETCD事务处理时间。
- 存储容量规划：预估ETCD数据的增长规模，为其分配足够的存储空间。要考虑到集群的规模、对象数量、事件历史记录等因素。例如，随着Kubernetes集群中资源对象（如Pod、Service等）的增加，ETCD需要存储更多的元数据，因此要预留足够的空间以避免存储不足导致的问题。
- CPU和内存
- CPU核心数：确保ETCD节点有足够的CPU核心来处理请求。根据集群规模和负载情况，合理分配CPU资源。在高负载的大型集群中，可能需要为每个ETCD节点分配多个CPU核心，以保证其能够及时处理各种读写操作。
- 内存大小：提供足够的内存来缓存数据和索引，提高ETCD的性能。内存不足可能导致频繁的磁盘I/O，影响集群的稳定性。一般来说，根据集群中的数据量和并发访问情况，为ETCD节点分配适当的内存，如对于中等规模的集群，每个ETCD节点可以分配4GB - 8GB的内存。
二、网络配置与优化
- 网络带宽
- 确保ETCD集群节点之间有足够的网络带宽来传输数据。在大规模集群中，数据同步和心跳消息等网络通信量较大。例如，在一个有多个节点的ETCD集群中，当发生数据变更时，数据需要快速、稳定地在节点之间同步，这就要求网络能够提供足够的带宽，避免因网络拥塞导致数据同步延迟或失败。
- 网络隔离与安全
- 隔离网络流量：将ETCD集群的网络通信与其他业务网络流量进行隔离，可以使用VLAN（虚拟局域网）或网络策略等手段。这样可以减少外部网络干扰对ETCD集群的影响，提高网络通信的稳定性和安全性。
- 加密通信：启用ETCD节点之间的TLS（传输层安全协议）加密通信，防止数据在传输过程中被窃取或篡改。配置正确的证书和密钥，确保只有授权的节点能够进行通信，增强ETCD集群的安全性和稳定性。
三、集群配置与管理
- 节点数量与分布
- 奇数个节点：ETCD集群最好采用奇数个节点，一般推荐3个或5个节点。这样可以保证在发生网络分区或节点故障时，集群能够正常工作。例如，在3个节点的集群中，只要有2个节点能够正常通信，集群就可以继续提供服务，实现数据的读写操作。
- 节点地理分布：考虑节点的地理分布，避免将所有节点放置在同一个物理位置或数据中心。这样可以提高集群的容错能力，防止因局部灾难（如火灾、断电等）导致整个ETCD集群失效。
- 版本管理与升级
- 版本兼容性：密切关注ETCD的版本更新，确保在集群中使用兼容的版本。新的Kubernetes版本可能对ETCD有特定的版本要求，要按照官方文档的建议进行版本升级，避免因版本不兼容导致的稳定性问题。
- 升级策略：在升级ETCD集群之前，要制定详细的升级计划，包括备份数据、在测试环境中进行升级测试等步骤。升级过程中要密切关注集群的状态，确保升级后集群能够正常运行。
四、监控与备份
- 性能监控
- 关键指标监控：监控ETCD的关键性能指标，如请求延迟、每秒请求数、磁盘I/O使用率、网络带宽使用率等。通过监控工具（如Prometheus + Grafana）设置合理的告警阈值，当指标超出正常范围时及时发现问题。例如，如果请求延迟突然增加，可能表示集群负载过高或者网络出现问题，需要及时进行排查。
- 集群健康检查：定期对ETCD集群进行健康检查，包括节点状态、数据一致性等方面。可以使用ETCD自带的健康检查工具或者通过Kubernetes API来检查集群的健康状况。例如，检查节点之间的心跳是否正常、数据是否在节点之间正确同步等。
- 数据备份与恢复
- 定期备份策略：制定定期的数据备份策略，备份ETCD的数据到外部存储设备（如网络存储、磁带库等）。备份频率可以根据集群的数据更新频率和重要性来确定，例如每天进行一次全量备份，每小时进行一次增量备份。
- 恢复测试：定期进行数据恢复测试，确保在数据丢失或损坏的情况下能够成功恢复ETCD数据。通过模拟故障场景，验证备份数据的有效性和恢复过程的正确性，提高集群的可靠性和稳定性。
总结
ETCD 作为 Kubernetes 的核心组件之一，对整个集群的稳定性和可靠性至关重要。通过合理规划硬件资源、优化网络配置、管理集群节点和版本、监控性能指标、备份数据等方面的工作，可以提高 ETCD 集群的稳定性，确保其能够持续提供高可用的服务。同时，密切关注 ETCD 的官方文档和社区动态，及时了解最新的最佳实践和安全更新，保持 ETCD 集群的健康运行。
FAQ
ETCD 节点是不是越多越可靠？
不是。ETCD 依赖共识协议，成员过多会增加写入确认链路和网络通信成本。多数生产集群优先选择 3 个节点，大集群可考虑 5 个节点，不建议为了“看起来更高可用”无限增加成员数。
ETCD 最容易被什么资源拖垮？
磁盘 IO 是最常见的关键瓶颈之一。ETCD 需要频繁写入和同步状态，高延迟磁盘会直接影响提交延迟，进而影响 Kubernetes 控制面的响应。
只做 ETCD 备份够不够？
不够。备份必须配合恢复演练，确认备份文件可用、恢复步骤可执行、恢复后的 Kubernetes 控制面能够重新工作。没有恢复验证的备份，只能算风险缓解的一半。
