怎么记日志才算专业,SRE、DEV 都应该了解的实践指南
本文从日志目的、上下文、结构化、指标与追踪分工、日志级别和采集过滤几个方面,说明怎样把日志从无用流水账变成可用于排障、关联分析和成本控制的可观测证据。
汇总 Flashcat 博客中与 日志监控 相关的文章,方便按主题连续阅读实践、案例、选型和产品更新。
本文从日志目的、上下文、结构化、指标与追踪分工、日志级别和采集过滤几个方面,说明怎样把日志从无用流水账变成可用于排障、关联分析和成本控制的可观测证据。
本文总结了日志管理的五大最佳实践,涵盖统一日志格式、合理日志级别、关联上下文信息、安全日志管理以及将日志转换为指标等关键方面,帮助提升日志处理效率与安全性。
Flashduty 日志监控可以通过关联查询把匹配日志的 request_id、remote_addr 等原文字段带入告警事件。本文以 Elasticsearch SQL 为例,说明告警查询、关联查询和备注模板的配置方式。
本文解释夜莺开源版日志监控为什么默认只能基于 Elasticsearch 或 Loki 查询结果做数值告警,不能直接把日志原文放进告警事件,并给出附加查询、Flashduty 和自定义脚本 enrichment 三种实现思路。
梳理 17 个值得纳入监控的 Linux 日志文件,覆盖系统、认证、内核、启动、计划任务、邮件、Web、数据库、防火墙、审计和登录记录,并给出常见查看命令与告警关键词建议。
ElasticSearch query_string 语法入门样例,覆盖 match、match_phrase、wildcard、range、exists 和多条件组合查询,适合日志监控和夜莺过滤条件配置参考。
Fluentbit 入门系列第三篇,演示如何用 tail 输入、`Multiline On` 和 `Parser_Firstline` 解析多行日志,把 Fluentd 堆栈跟踪合并为单个日志事件。
通过 Linux messages 日志示例讲解 Fluent Bit 如何使用 regex Parser 提取 time、host、ident、pid 和 message 字段,并说明 Time_Key、Time_Format、Time_Keep 与 tail 输入插件的配合方式。
通过 CentOS8 和 Fluent Bit v2.0.6 示例讲解 tail 插件的标准配置,重点说明 Path、Read_from_head、DB 偏移记录和 stdout 验证方法,帮助你稳定采集本地日志文件。
介绍如何使用自定义 Fluent Bit 多行解析器把 Java 堆栈等多行日志合并为单条日志记录,并说明 CRI 解析器、multiline filter、parsers.conf 和 New Relic 输出配置。
从定位、资源占用、依赖、插件生态、部署方式和适用场景对比 Fluent Bit 与 Fluentd,帮助你判断日志采集应选择轻量级 Agent、服务端聚合器,还是二者组合使用。
介绍如何在 Kubernetes 集群中使用 Fluent Bit 收集 Pod 日志,理解 INPUT、PARSER、FILTER、OUTPUT 插件、DaemonSet 部署、CRD 动态配置和 Fluent Bit 与 Fluentd 的差异。
本文讲解 Grafana Loki 的日志架构、核心组件和数据流,包括 Promtail、Distributor、Ingester、Ruler、Querier、Query Frontend、Grafana、Log Storage,以及 Loki 与 EFK Stack 的差异。
介绍 Fluent Bit 3.0 在日志、指标和追踪可观测性管道中的使用边界与最佳实践,包括 processor、tag、健康检查、热重载、Prometheus 指标和资源控制。
面向 Ubuntu 服务器,介绍 Fluent Bit 的 APT 安装、systemd 启动、Tail 输入配置和 OpenObserve HTTP 输出配置,帮助快速搭建轻量级日志转发链路。
以 Flashduty 为例,演示如何基于 ElasticSearch、Loki、ClickHouse 等日志数据源配置日志告警,包括告警引擎安装、数据源配置、SQL 查询、阈值判定和事件分发。
本文用 Kafka、ClickHouse、ClickVisual、Categraf、MySQL、Redis 和 Kowl 搭建日志平台实验环境,演示日志从采集、Kafka 传输、ClickHouse 入库、物化视图处理到 ClickVisual 查询的完整流程。
本文介绍 Cloudflare 使用 ClickHouse 做日志分析的实践:为什么 Elasticsearch 在高吞吐日志场景下面临 mapping 爆炸、多租户、维护和 GC 压力,以及 ClickHouse 如何通过列式存储、压缩、分片复制、表 schema、分区、主键和数据跳过索引支撑日志分析。
Vector 是一款开源的可观测性数据收集、转换和路由工具,常被用作 Logstash 替代方案。本文介绍 Vector 的 Source、Transform、Sink pipeline 模型、安装方式、配置示例,以及 Agent、Aggregator、Daemon、Sidecar 等部署模式。
本文讲解如何使用 Categraf 的 mtail 插件从应用日志中提取 metrics 指标,适用于无法改代码埋点、需要从系统日志关键字生成监控指标、或希望用一个 Categraf 进程统一管理多个日志解析规则的场景。