Vector + ClickHouse 收集日志
完整演示 Vector + ClickHouse 日志采集链路:自定义 Nginx access log,创建 ClickHouse 表,用 Vector file source 读取日志、VRL 清洗字段,并通过 ClickHouse sink 写入结构化数据。
汇总 Flashcat 博客中与 ClickHouse 相关的文章,方便按主题连续阅读实践、案例、选型和产品更新。
完整演示 Vector + ClickHouse 日志采集链路:自定义 Nginx access log,创建 ClickHouse 表,用 Vector file source 读取日志、VRL 清洗字段,并通过 ClickHouse sink 写入结构化数据。
本文用 Kafka、ClickHouse、ClickVisual、Categraf、MySQL、Redis 和 Kowl 搭建日志平台实验环境,演示日志从采集、Kafka 传输、ClickHouse 入库、物化视图处理到 ClickVisual 查询的完整流程。
本文介绍 Cloudflare 使用 ClickHouse 做日志分析的实践:为什么 Elasticsearch 在高吞吐日志场景下面临 mapping 爆炸、多租户、维护和 GC 压力,以及 ClickHouse 如何通过列式存储、压缩、分片复制、表 schema、分区、主键和数据跳过索引支撑日志分析。