Vector + ClickHouse 收集日志
演示如何用 Vector 读取 Nginx 日志、用 VRL 清洗字段,并把结构化日志写入 ClickHouse,完整走通采集、处理与存储链路。
汇总 Flashcat 博客中与 ClickHouse 相关的文章,方便按主题连续阅读实践、案例、选型和产品更新。
演示如何用 Vector 读取 Nginx 日志、用 VRL 清洗字段,并把结构化日志写入 ClickHouse,完整走通采集、处理与存储链路。
越来越多的互联网公司开始尝试 ClickHouse 存储日志,比如映客、快手、携程、唯品会、石墨文档,但是 ClickHouse 存储日志缺少对应的可视化方案,石墨文档开源了 ClickVisual 用于解决这个问题。
ClickHouse 作为日志存储的平台,已经被很多大厂验证,国内的比如石墨、B站、唯品会都有相关实践经验分享。本文介绍 Cloudflare 的实践经验。