细说夜莺监控系统告警自愈机制
夜莺监控告警自愈机制通过告警引擎、ibex 命令通道和 Categraf Agent 协作,在告警触发后自动执行脚本。本文介绍配置方法、命令通道测试、自愈脚本创建和权限注意事项。
围绕可观测性、AI SRE、告警治理、On-call、Nightingale、Categraf、Prometheus、Kubernetes、Zabbix、用户案例和产品更新,沉淀一线工程实践、选型参考和稳定性治理方法。
夜莺监控告警自愈机制通过告警引擎、ibex 命令通道和 Categraf Agent 协作,在告警触发后自动执行脚本。本文介绍配置方法、命令通道测试、自愈脚本创建和权限注意事项。
本文以 NGINX access_log 提取为例,对比 Logstash 与 fc-stash 在配置方式、字段解析、平台化管理和压测表现上的差异,帮助团队理解日志 ETL 组件选型时应重点关注的功能、成本和运维体验。
从 SRE 视角梳理 502 Bad Gateway 排查路径:用 Chrome 开发者工具确认接口,用 cURL 绕过 Nginx 验证后端,结合 Nginx 日志、超时配置、容器日志和 OOM 线索定位问题。
从夜莺 Docker Compose 部署后数据源连不通的问题出发,用 host network 和 bridge network 两种模式解释容器网络命名空间、veth pair、bridge 网桥、127.0.0.1 访问边界和服务名访问方式。
Flashduty 2024-04-22 更新说明:标签增强支持正则提取、组合、删除和映射规则;IM 集成优化卡片与兜底通知;故障列表和协作空间支持更高效的检索、展示、收藏与排序。
本文译介 Wide Events 宽事件的可观测性思路:把 Metrics、Logs、Traces、Profiling 等上下文放到可探索的事件模型中,用切片、分组和关联分析处理未知问题。
基于 Kubernetes 1.24.15、Ingress Nginx Controller v1.8.1 和 SkyWalking 9.2.0,介绍如何用 skywalking-nginx-lua 和 Ingress Nginx 自定义插件生成 Span、打印 TraceID,并串联 Flashcat 排障路径。
gohttpd 是一个面向 SRE 临时调试场景的小型 HTTP 工具,可用于受控环境下远程执行命令、上传下载文件、打印 HTTP 请求和调试 Webhook。
夜莺监控 V7 beta2 内置集成故障自愈能力,不再需要单独部署 ibex 模块,并同步优化内置仪表盘、内置规则、业务组树、告警规则表格和文档。
HTTP 域名接口偶发超时时,DNS 解析延迟是常见排查方向之一。本文介绍 dns-lookup-latency 的使用方法、输出含义和 Go 源码实现,帮助 SRE 快速采样域名解析耗时,判断是否需要继续排查 DNS 链路。
Linux 进程出现 Too many open files 时,不能只看 shell 里的 ulimit -n。本文说明如何确认进程真实句柄限制、systemd 和 supervisor 对 ulimit 的影响,以及 file-max、file-nr 和夜莺告警规则。
本文结合稳定性保障实践,说明日志分析如何在成本、效果和落地风险之间取舍,并介绍用网关日志生成业务指标、与指标和链路追踪联动、再通过 Flashcat 串联多数据源的日志分析路径。
服务故障排查时,研发运维人员需要一个全局 SLI 入口来判断自身服务、下游依赖、网络链路和系统分组的健康状态。本文用一个接口延迟突增的场景说明全局 SLI、服务依赖关系和灭火图在故障定位中的价值。
CPU steal time 表示虚拟 CPU 等待宿主机真实 CPU 的时间比例。本文说明如何用 top 查看 st 指标,什么时候需要关注,以及如何区分自身负载高和宿主机资源争抢。
OnCall 不是让老实人长期背锅。健康的值班机制需要公平排班、补偿激励、升级机制、告警降噪、SOP 手册和稳定性隐患闭环,否则会伤害团队稳定性。
Zenlayer 将近万台网络设备监控从 Zabbix 迁移到 Flashcat,通过边缘部署、Categraf、SNMP 模板、Pingmesh 和多数据源接入,支撑全球边缘节点的统一可观测。
dive 是一个用于分析 Docker 镜像分层、构建命令和大文件占用的开源工具。本文说明它适合解决哪些镜像分析问题,并给出 Docker 方式和二进制方式的安装使用示例。
完整演示 Vector + ClickHouse 日志采集链路:自定义 Nginx access log,创建 ClickHouse 表,用 Vector file source 读取日志、VRL 清洗字段,并通过 ClickHouse sink 写入结构化数据。
某出行科技企业从单云走向多云后,使用 Flashcat 和 Flashduty 统一多云监控、日志告警、北极星指标和灭火图,降低工具分散、重复配置、数据孤岛和告警噪声带来的可观测性复杂度。
老旧系统只支持邮件告警时,可以通过 Flashduty Email 集成把非结构化邮件转成可分派、可降噪、可认领、可自动关闭的告警事件。本文演示添加邮件集成、配置分派策略、提取标签和自动关闭告警的流程。