日志监控

日志监控是指对系统、应用程序或网络设备生成的日志文件进行实时收集、ETL、分析和可视化、告警的过程，以便于监控系统的健康状态、性能以及安全性。典型的日志方案比如 ELK（ElasticSearch、Logstash、Kibana）生态、ClickHouse 生态（ClickHouse、Clickvisual、Grafana）。S3 生态，很多日志分析软件使用 S3 作为日志存储的主要方式，比如 Loki、OpenObserve。

如果只是对日志做告警，则还有 ElastAlert、Flashduty、Flashcat 等方案。

日志分析系统简介

Flashcat-日志分析，通过对系统网关和模块的日志进行采集、分析、计算，生成观测系统状态的丰富维度，并辅助分析和定位故障特征，加速确定止损预案。

Posted by 快猫星云Flashcat on 2024-09-20 17:22:12

ETL 工具之日志提取组件选型比较

什么是ETL？ETL 是指 Extract、Transform、Load 的缩写，是一种常见的数据处理模式，用于将数据从一个数据源抽取（Extract）出来，经过转换（Transform）后加载（Load）到目标数据仓库或数据库中。如果数据源是日志文件，那么最通用的技术栈是ELK。本文对比 logstash 以及 fc-stash 两个 ETL 工具，供大家参考

ETL 工具之日志提取组件选型比较

Posted by 胡冲-快猫星云 on 2024-04-29 00:08:08

他山之石可攻玉 ETL Logging

史上最简单的日志告警方案，没有之一

如果你在意生产环境的稳定性，希望自己的服务出问题时及时发现，大概率就有日志监控告警的需求，比如发现日志中有 Error 或 Exception 关键字就告警，比如通过日志统计某个服务的 95 分位延迟数据，延迟过高就告警，比如通过日志统计某个服务的 status code，出现多个 5xx 就告警，等等。日志可能存储在 ElasticSearch、Loki、ClickHouse 等系统中，告警系统的核心逻辑也比较清晰，就是根据用户配置的查询语句，周期性查询这些存储，并对查询结果做阈值判定，如果达到阈值就触发告警。比如统计 5 分钟内出现的 Error 数量，如果大于 10 就告警。

史上最简单的日志告警方案，没有之一

Posted by 快猫星云 on 2024-01-23 10:06:10

产品动态日志告警 ElasticSearch Flashduty

14条记录日志的最佳实践，请记好，吵架用

如何记录日志才是最佳实践，本文送你 14 条建议。关键点：确定日志记录的目标、区分日志级别、记录结构化日志、记录上下文、抽样、拥抱数据串联的力量、日志轮换、告警自动化、让团队都参与进来、不要记录一切、不要记录敏感信息、不要忽视日志对性能的影响、不要忽视日志安全、不要把日志看做银弹。

Posted by fulya.uluturk on 2024-08-15 00:06:10

Logging 日志

可观测性建设实践之 - 日志分析的权衡取舍

指标、日志、链路是服务可观测性的三大支柱，在服务稳定性保障中，通常指标侧重于发现故障和问题，日志和链路分析侧重于定位和分析问题，其中日志实际上是串联这三大维度的一个良好桥梁。

可观测性建设实践之 - 日志分析的权衡取舍

Posted by 华明@Flashcat on 2023-10-26 08:08:08

Flashcat动态日志分析

ElasticSearch日志告警

基于夜莺快速构建日志告警平台，实现ElasticSearch日志告警，可以看做是Elastalert升级版。

ElasticSearch日志告警

Posted by 秦叶宁@快猫星云 on 2022-10-03 00:00:00

Flashcat动态 ElasticSearch Elastalert 日志告警

从应用日志中提取监控metrics

本文讲解如何使用 categraf 的 mtail 插件从应用日志中提取 metrics 指标，这种方式对于无法埋点的应用监控非常有帮助，完全无侵入性；对于系统日志中的关键字监控也非常好用

从应用日志中提取监控metrics

Posted by 孔飞@快猫星云 on 2022-11-04 22:06:10

Flashcat动态 Categraf Nightingale

VictoriaLogs 要凭什么革了各家日志存储的命

VictoriaLogs 要凭什么革了各家日志存储的命

VictoriaLogs 要凭什么革了各家日志存储的命

Posted by 秦晓辉 on 2023-09-25 06:06:10

他山之石可攻玉 VictoriaLogs

使用 ClickHouse 做日志分析

ClickHouse 作为日志存储的平台，已经被很多大厂验证，国内的比如石墨、B站、唯品会都有相关实践经验分享。本文介绍 Cloudflare 的实践经验。

使用 ClickHouse 做日志分析

Posted by Monika Singh & Pradeep Chhetri on 2023-10-07 06:06:10

他山之石可攻玉 ClickHouse

使用 grok_exporter 从日志中提取指标(日志监控)

grok_exporter 是一个类似 mtail 的方案，可以流式读取日志文件，通过正则做匹配提取指标，相比 mtail 更为简单直观。不过数据计算方面灵活性稍差。

使用 grok_exporter 从日志中提取指标(日志监控)

Posted by 秦晓辉@快猫星云 on 2022-12-18 06:06:10

他山之石可攻玉 grok_exporter log-monitor

Vector + ClickHouse 收集日志

目前业界的日志生态，最常用的是 ELK，其次就是 ClickHouse，本文会演示如何使用 Vector + ClickHouse 来采集 Nginx 日志并做清洗，最终写入 ClickHouse

Vector + ClickHouse 收集日志

Posted by Denys Golotiuk, Ulric on 2024-03-07 00:06:10

他山之石可攻玉 Vector ClickHouse

ClickHouse + ClickVisual 构建日志平台

越来越多的互联网公司开始尝试 ClickHouse 存储日志，比如映客、快手、携程、唯品会、石墨文档，但是 ClickHouse 存储日志缺少对应的可视化方案，石墨文档开源了 ClickVisual 用于解决这个问题。

ClickHouse + ClickVisual 构建日志平台

Posted by 秦晓辉 on 2023-11-01 06:06:10

他山之石可攻玉 ClickHouse

Grafana Loki 架构讲解

在本指南中，我们将详细了解Grafana Loki架构及其组件。

Grafana Loki 架构讲解

Posted by Bibin Wilson on 2024-07-31 00:06:10

Kubernetes JMX Exporter

OpenTelemetry Logging 思维导图，收藏

Logs 是“可观测性三支柱”中历史包袱最重的监控数据类型，日志的格式更随意，缺乏标准和规范。推荐在应用研发阶段，按照 OTel Logs 规范打印日志。

OpenTelemetry Logging 思维导图，收藏

Posted by Flashcat on 2024-02-26 10:06:10

OpenTelemetry专栏 OpenTelemetry OTel 可观测性

可观测性数据收集集大成者 Vector 介绍

如果企业提供 IT 在线服务，那么可观测性能力是必不可少的。“可观测性” 这个词近来也越发火爆，不懂 “可观测性” 都不好意思出门了。但是可观测性能力的构建却着实不易，每个企业都会用到一堆技术栈来组装建设。比如数据收集，可能来自某个 exporter，可能来自 telegraf，可能来自 OTEL，可能来自某个日志文件，可能来自 statsd，收集到数据之后还需要做各种过滤、转换、聚合、采样等操作，烦不胜烦，今天我们就给大家介绍一款开源的数据收集+路由器工具：Vector，解除你的上述烦恼。

可观测性数据收集集大成者 Vector 介绍

Posted by 秦晓辉 on 2023-09-27 06:06:10

他山之石可攻玉 Vector

你唯一需要的是“Wide Events”，而非“Metrics、Logs、Traces”

你唯一需要的是宽事件 “Wide Events”，而非三大支柱 “Metrics、Logs、Traces”。本文作者曾是 Meta 员工，个中思路值得借鉴。

你唯一需要的是“Wide Events”，而非“Metrics、Logs、Traces”

Posted by 译文 on 2024-04-19 00:08:08

Observability Metrics Logs Traces

最新博客

1. PromQL教程（二）Prometheus 数据类型

2024-09-30 12:33:36

2. 科普：告警级别有哪些？如何划分？

2024-09-30 10:33:36

3. PromQL教程（一）初识 PromQL

2024-09-29 14:08:18

4. 科普：理解指标、监控与告警

2024-09-29 10:28:27

5. 科普：什么是告警？

2024-09-28 10:10:38

6. 科普：什么是智能化运维监控系统？如何设计及实现？

2024-09-27 09:46:46

7. 夜莺的机器支持挂载到多个业务组了

2024-09-26 15:26:53

8. 科普：运维监控系统概念及用途

2024-09-26 10:29:36

9. Apache Web Server 如何监控

2024-09-25 12:50:10

10. 科普：如何理解Oncall？Oncall有什么注意事项？

2024-09-25 10:01:40

快猫星云联系方式

快猫星云联系方式

快猫星云联系方式

快猫星云Email

申请技术交流产品试用

快猫星云

开源版

Nightingale

Categraf

Flashcat

企业版

Flashduty

SaaS版

文档中心

下载中心

视频中心

开发者中心

话题中心