最佳实践:可观测建设实践之 - 日志分析的权衡取舍
本文结合稳定性保障实践,说明日志分析如何在成本、效果和落地风险之间取舍,并介绍用网关日志生成业务指标、与指标和链路追踪联动、再通过 Flashcat 串联多数据源的日志分析路径。
围绕可观测性、AI SRE、告警治理、On-call、Nightingale、Categraf、Prometheus、Kubernetes、Zabbix、用户案例和产品更新,沉淀一线工程实践、选型参考和稳定性治理方法。
本文结合稳定性保障实践,说明日志分析如何在成本、效果和落地风险之间取舍,并介绍用网关日志生成业务指标、与指标和链路追踪联动、再通过 Flashcat 串联多数据源的日志分析路径。
服务故障排查时,研发运维人员需要一个全局 SLI 入口来判断自身服务、下游依赖、网络链路和系统分组的健康状态。本文用一个接口延迟突增的场景说明全局 SLI、服务依赖关系和灭火图在故障定位中的价值。
CPU steal time 表示虚拟 CPU 等待宿主机真实 CPU 的时间比例。本文说明如何用 top 查看 st 指标,什么时候需要关注,以及如何区分自身负载高和宿主机资源争抢。
OnCall 不是让老实人长期背锅。健康的值班机制需要公平排班、补偿激励、升级机制、告警降噪、SOP 手册和稳定性隐患闭环,否则会伤害团队稳定性。
Zenlayer 将近万台网络设备监控从 Zabbix 迁移到 Flashcat,通过边缘部署、Categraf、SNMP 模板、Pingmesh 和多数据源接入,支撑全球边缘节点的统一可观测。
dive 是一个用于分析 Docker 镜像分层、构建命令和大文件占用的开源工具。本文说明它适合解决哪些镜像分析问题,并给出 Docker 方式和二进制方式的安装使用示例。
完整演示 Vector + ClickHouse 日志采集链路:自定义 Nginx access log,创建 ClickHouse 表,用 Vector file source 读取日志、VRL 清洗字段,并通过 ClickHouse sink 写入结构化数据。
某出行科技企业从单云走向多云后,使用 Flashcat 和 Flashduty 统一多云监控、日志告警、北极星指标和灭火图,降低工具分散、重复配置、数据孤岛和告警噪声带来的可观测性复杂度。
老旧系统只支持邮件告警时,可以通过 Flashduty Email 集成把非结构化邮件转成可分派、可降噪、可认领、可自动关闭的告警事件。本文演示添加邮件集成、配置分派策略、提取标签和自动关闭告警的流程。
制作仪表盘时,图表选择应基于数据类型、视觉通道和表达目的。本文用图形语法解释标记、位置、颜色、形状、长度、面积等视觉通道如何映射分类数据和有序数据,并给出比较、趋势、占比、分布等常见图表选择思路。
Logs 是“可观测性三支柱”中历史包袱最重的监控数据类型,日志的格式更随意,缺乏标准和规范。推荐在应用研发阶段,按照 OTel Logs 规范打印日志。
OpenTelemetry Tracing 思维导图解读:说明 Span、SpanContext、TraceId、SpanId、SpanKind、Attributes、Events、Status、异常记录、采样策略以及通过日志过渡到链路追踪的方法。
我想进入容器中执行 curl 命令探测某个地址的连通性,但是容器镜像里默认没有 curl 命令。我这里是一个内网环境不太方便使用 yum 或者 apt 安装,怎么办?这个需求比较典型,这里教大家一个简单的方法,使用 nsenter 进入容器的 net namespace,即可使用宿主机的 curl、ip、ifconfig 等命令,其效果,就跟进入容器中执行是一样的。
介绍 Pingmesh 在大规模数据中心网络排障中的作用:基于微软论文思路,说明 Controller、Agent、pinglist、机柜/交换机探测、丢包和时延指标,以及 Flashcat-Pingmesh 的设计方案。
手把手介绍如何用 Flashduty 免费做消息通知:注册账号、创建协作空间、配置分派策略、生成自定义事件 integration key,并通过 curl 推送测试告警。
MetricsQL 扩展了 PromQL 的表达能力。本文用“5 分钟内某指标超过阈值 3 次就告警”的场景,说明 count_gt_over_time、count_le_over_time、count_ne_over_time、count_eq_over_time 这 4 类函数适合处理按次数判断的告警条件。
面向 Linux 初级用户的软件问题排查教程:从官网和 GitHub 获取资料,检查进程、端口、CPU 架构、版本、配置文件和日志,再用浏览器 Network、curl、系统日志和 ulimit 等线索定位运行时问题。
以 Flashduty 为例,演示如何基于 ElasticSearch、Loki、ClickHouse 等日志数据源配置日志告警,包括告警引擎安装、数据源配置、SQL 查询、阈值判定和事件分发。
说明 PromQL 阈值写在查询语句中时,告警恢复通知为什么拿不到当前值,并给出两种配置思路:阈值外置判定和恢复时关联查询。
用咖啡馆点餐类比解释 Go Channel:无缓冲 Channel、带缓冲 Channel、Goroutine 通信、工作池和 select 超时等并发编程基础。