夜莺-Nightingale
夜莺V6
项目介绍 架构介绍
快速开始
黄埔营
安装部署
升级
采集器
使用手册
API
数据库表结构
FAQ
开源生态
Prometheus
版权声明
第1章:天降奇兵
第2章:探索PromQL
第3章:Prometheus告警处理
第4章:Exporter详解
第5章:数据与可视化
第6章:集群与高可用
第7章:Prometheus服务发现
第8章:监控Kubernetes
第9章:Prometheus Operator
参考资料

日志分析系统简介

日志分析系统通过对系统网关和模块的日志进行采集、分析、计算,生成观测系统状态的丰富维度,并辅助分析和定位故障特征,加速确定止损预案。

术语

概念 说明
日志分析 该子系统的统称,主要有日志主题、日志源、提取规则、维度、特征等概念。
日志主题 日志主题是一组格式相同、表意相同的日志集合。
一个主题的日志可以来源多个日志源,日志源的日志经规则提取后进入主题。
每个日志主题都应用一个日志模板,该模板是所有进入该主题的日志字段的合集。
日志分析主要就是围绕日志主题的生成、维度配置和特征分析进行,日志主题是日志分析的入口。
日志源 日志源即日志的来源,通常如kafka的订阅topic,或由filebeat、categraf等采集器采集后直接上报到Flashcat系统自带的kafka。
日志源和日志主题是多对多的关系,多个日志源可以进入同一个日志主题,一个日志源也可以进入多个日志主题。
提取规则 平台提供将原始日志转化为标准key-value日志主题格式的提取方案,可以在日志接入过程中通过正则等手段进行灵活配置。
维度 由一个或多个日志字段组合起来具有特定观测意义的视图。
日志分析系统中可以将日志中任意多个不同字段按观测的需要进行组合观测,如http_host和request两个字段可组合成接口(即功能)维度。
不同组合的维度都固定观测三大黄金指标:请求成功率、请求量、请求延迟(平均值及分位值)。
维度项 维度里面对应的一条记录。
特征 特征是日志分析的一个重要输出。典型的特征如错误码的分布情况、错误码是否集中在某个集群/某个来源ip/模块的某个实例/某个流量来源渠道等。
异常特征的确定非常有利于收敛故障的范围及故障止损预案的决策,是故障定位环节追求的核心目标之一。

产品架构

日志分析产品架构

开源版
Flashcat
Flashduty