Kafka 常见错误及其解决方案
本文整理 Kafka 常见错误的现象、原因和处理思路,包括 Broker 不可用、Leader 不可用、Offset 超出范围、请求超时、Unknown Topic or Partition、Not Leader For Partition、发送失败、复制因子过高和认证失败。
汇总 Flashcat 博客中与 Kafka 相关的文章,方便按主题连续阅读实践、案例、选型和产品更新。
本文整理 Kafka 常见错误的现象、原因和处理思路,包括 Broker 不可用、Leader 不可用、Offset 超出范围、请求超时、Unknown Topic or Partition、Not Leader For Partition、发送失败、复制因子过高和认证失败。
梳理 Kafka 集群常见性能与稳定性调优项:分区数量、ISR 滞后、网络与 I/O 线程、生产者压缩、acks、消费者 fetch、socket buffer、KRaft 超时、log.dirs 和复制因子。
Kafka 难用往往不是工具本身的问题,而是主题建模、消费者组、状态流转、发件箱、重试队列和 Schema 演进没有设计好。本文用 6 个模式说明 Kafka 如何支撑可靠的事件驱动架构。
Kafka Topic 是消息分类、数据隔离和并行处理的逻辑单元。本文解释 Topic、Partition、Replica 的关系,并从业务边界、吞吐量、顺序性、下游系统和命名规范五个角度说明如何规划 Topic。
Kafka 为什么会使用操作系统零拷贝?本文解释传统拷贝、zero-copy、DMA、page cache、socket buffer、scatter-gather I/O 以及 SSL/TLS 对 Kafka 零拷贝的影响。
做 Kafka 监控前,需要理解副本、AR、ISR、OSR、HW 和 LEO 等关键概念。本文解释这些术语的定义、关系和消费者可见性的变化过程,帮助理解 Kafka 副本同步与高水位机制。