提升故障应急响应速度,Flashcat平台的1-5-10实践
围绕阿里巴巴 1-5-10 故障目标,说明如何用北极星指标、灭火图、事件墙和多维分析缩短发现、处置与恢复时间,帮助团队建立更快的应急响应机制。
围绕可观测性、AI SRE、告警治理、On-call、Nightingale、Categraf、Prometheus、Kubernetes、Zabbix、用户案例和产品更新,沉淀一线工程实践、选型参考和稳定性治理方法。
围绕阿里巴巴 1-5-10 故障目标,说明如何用北极星指标、灭火图、事件墙和多维分析缩短发现、处置与恢复时间,帮助团队建立更快的应急响应机制。
介绍 GPU 服务器与 InfiniBand 的监控方案,对比 nvidia-smi 和 DCGM,并演示如何结合 Categraf 与 Exporter 接入夜莺。
node-exporter 是 Prometheus 的官方 exporter 之一,用于监控 Linux 系统的各种指标。本文是专栏第一篇,介绍 node-exporter 的框架,后面会逐步深入 node-exporter 的原理和实现。
多个 Prometheus 或 VictoriaMetrics 集群需要统一查询时,可以用 promxy 或 VictoriaMetrics vmselect 做聚合入口。本文基于本地模拟环境说明数据源聚合、server_group 标签和查询验证方法。
夜莺监控 v7.beta4 支持仪表盘变量与业务组机器联动,同一大盘导入不同业务组后,可自动按业务组筛选机器,并新增跨业务组克隆、LDAP Role Mapping 等能力。
夜莺监控(Nightingale)上线内置指标功能,把常用 PromQL 以中文指标视图沉淀下来,降低普通用户查询 Prometheus 指标的门槛,并支持通过过滤条件复用到具体业务或机器场景。
Prometheus 监控平台由 Prometheus Server、Service Discovery、Exporter、Pushgateway、Alertmanager、Grafana 等组件协同完成采集、存储、查询、告警和展示。本文按数据流解释每个组件的职责、边界和常见扩展方式。
Prometheus 与 Nightingale 不是简单替代关系,而是更常见于协同使用:Prometheus 生态负责采集、存储和查询,Nightingale 更适合作为时序数据告警引擎、规则管理和边缘机房告警自治平台。
开源许可证对比:陆续有一些知名开源项目,出于保护商业利益的角度出发,更改了自己的开源许可证,比如:Redis、Zabbix、Grafana、ElasticSearch、Kibana 等,开源许可证应该怎么选?
夜莺监控告警自愈机制通过告警引擎、ibex 命令通道和 Categraf Agent 协作,在告警触发后自动执行脚本。本文介绍配置方法、命令通道测试、自愈脚本创建和权限注意事项。
本文以 NGINX access_log 提取为例,对比 Logstash 与 fc-stash 在配置方式、字段解析、平台化管理和压测表现上的差异,帮助团队理解日志 ETL 组件选型时应重点关注的功能、成本和运维体验。
从 SRE 视角梳理 502 Bad Gateway 排查路径:用 Chrome 开发者工具确认接口,用 cURL 绕过 Nginx 验证后端,结合 Nginx 日志、超时配置、容器日志和 OOM 线索定位问题。
从夜莺 Docker Compose 部署后数据源连不通的问题出发,用 host network 和 bridge network 两种模式解释容器网络命名空间、veth pair、bridge 网桥、127.0.0.1 访问边界和服务名访问方式。
Flashduty 2024-04-22 更新说明:标签增强支持正则提取、组合、删除和映射规则;IM 集成优化卡片与兜底通知;故障列表和协作空间支持更高效的检索、展示、收藏与排序。
本文译介 Wide Events 宽事件的可观测性思路:把 Metrics、Logs、Traces、Profiling 等上下文放到可探索的事件模型中,用切片、分组和关联分析处理未知问题。
基于 Kubernetes 1.24.15、Ingress Nginx Controller v1.8.1 和 SkyWalking 9.2.0,介绍如何用 skywalking-nginx-lua 和 Ingress Nginx 自定义插件生成 Span、打印 TraceID,并串联 Flashcat 排障路径。
gohttpd 是一个面向 SRE 临时调试场景的小型 HTTP 工具,可用于受控环境下远程执行命令、上传下载文件、打印 HTTP 请求和调试 Webhook。
夜莺监控 V7 beta2 内置集成故障自愈能力,不再需要单独部署 ibex 模块,并同步优化内置仪表盘、内置规则、业务组树、告警规则表格和文档。
HTTP 域名接口偶发超时时,DNS 解析延迟是常见排查方向之一。本文介绍 dns-lookup-latency 的使用方法、输出含义和 Go 源码实现,帮助 SRE 快速采样域名解析耗时,判断是否需要继续排查 DNS 链路。
Linux 进程出现 Too many open files 时,不能只看 shell 里的 ulimit -n。本文说明如何确认进程真实句柄限制、systemd 和 supervisor 对 ulimit 的影响,以及 file-max、file-nr 和夜莺告警规则。