日志分析落地步骤

落地步骤

目标：完成日志源和日志接入配置，产生基本的观测维度，输出维度分析信息和基本特征分析信息，并能够查看到日志原文

步骤一：配置日志源

首先需要接入日志源，有几种方式：

• 大部分情况下企业内部已采集了网关或服务的日志，则只要在Flashcat的数据集成系统中配置相应的消息队列（通常是kafka）topic数据源即可；
• 也可以配置采集agent（如filebeat），将采集的日志同时发送一份到Flashcat的kafka，再在数据集成系统中进行简单配置来实现日志源的接入；
• 如日志还没有采集，则可以安装fliebeat或开源categraf来采集日志，上报到Flashcat的kafka，其它步骤同上；
• Flashcat也支持从已存储了日志的Elasticsearch中获取日志，但这个方案会受限于ES接口的限流设置，维护成本较高，也不太可控，不推荐采用这个方案；

输出：在数据集成系统中完成日志源的配置

步骤二：接入日志配置提取规则

配置好日志源后，就可以具体的接入日志。接入日志的过程中需要选择日志源，并选择创建新日志主题，或是加入已有日志主题。
日志接入的核心是配置日志提取规则，确定日志提取的方式和效果。

输出：完成日志的接入，在主题管理中可以看到相应日志源接入的效果

步骤三：配置常态观测维度

日志接入后需要在相应的日志主题中配置观测维度才能查看信息。观测维度可在系统中进行快速简单的配置完成。

输出：完成业务故障特征分析常用维度的配置