如何解决系统报错:nf_conntrack: table full, dropping packets
系统日志出现 nf_conntrack: table full, dropping packets,通常说明连接跟踪表已接近或达到上限。本文说明如何判断、临时调大、持久化配置,并用 Categraf 或日志监控提前发现风险。
围绕可观测性、AI SRE、告警治理、On-call、Nightingale、Categraf、Prometheus、Kubernetes、Zabbix、用户案例和产品更新,沉淀一线工程实践、选型参考和稳定性治理方法。
系统日志出现 nf_conntrack: table full, dropping packets,通常说明连接跟踪表已接近或达到上限。本文说明如何判断、临时调大、持久化配置,并用 Categraf 或日志监控提前发现风险。
本文介绍 catpaw 早期版本的设计思路、安装方式、主配置、HTTP 插件、exec 插件、Flashduty 告警推送和恢复消息测试,说明轻量事件监控适合解决哪些指标监控难以表达的问题。
Flashcat 系列白皮书围绕可观测性成熟度、稳定性体系建设、Flashcat 产品能力和 OnCall 体系展开,帮助团队理解从传统监控到可观测平台的建设路径。
《Google 运维解密》读书笔记第三篇:解释 SLI、SLO、SLA 的区别,SRE 在 SLO 制定中的职责,以及如何选择用户体验指标、长尾延迟和业务北极星指标。
《Google 运维解密》读书笔记第二篇:解释为什么 SRE 要拥抱风险,如何用可用性、SLO、错误预算和 ROI 在可靠性成本与业务迭代之间做权衡。
Flashduty 2023-05-18 更新重点包括告警管理交互升级、分析看板 MTTx 指标、Alert 与 Incident Webhook、阿里云 SLS、腾讯蓝鲸和 Zabbix 集成增强。
《Google 运维解密》读书笔记第一篇:概述 SRE 的来源、团队技能、50% 琐事原则、SLO、错误预算、监控、变更管理、容量规划和性能优化。
介绍如何将 Zabbix 告警接入 Flashduty,并用 Flashduty 补齐告警降噪、排班、认领、升级、IM 协同和告警治理分析能力。
可观测性不应只围绕日志、指标和分布式链路追踪三支柱建设。本文从定故障、定边界、定原因三个阶段出发,强调以告警、上下文、拓扑和止损结果衡量可观测性价值。
本文结合 Kubernetes 与 kube-prometheus-stack 场景,梳理 Prometheus 性能优化和高基数治理实践:从丢弃未使用指标、配置 node-exporter、使用 metric relabeling,到用 Prometheus TSDB Status、Cardinality Explorer 和 pprof 分析资源占用。
技术社区提问指南:想更快得到答案,先自己排查,提供版本、配置、日志、请求响应、复现步骤和完整截图,只描述事实,保持礼貌,并在解决后回馈社区。
Prometheus 指标瘦身实践:使用 mimirtool 分析 Grafana Dashboard、Prometheus 规则和 Prometheus 实例中的指标,找出已使用与未使用指标,为基数治理和采集优化提供依据。
Flashcat 统一观测平台提供指标、日志、链路等数据的仪表盘、即时查询和快捷视图能力。本文介绍这些可视化能力分别解决什么问题,以及如何把排障经验沉淀成可复用视图。
系统介绍 Flashcat 统一观测平台的告警能力:PromQL 阈值告警、机器失联告警、日志告警、智能告警、静默屏蔽、订阅分组、回调集成和告警事件流转。
LinkedIn 如何扩展 Salt 支撑大规模远程命令执行:从单 master 瓶颈,到 REST API、li-salt-master、li-minion、mTLS、ACL 和监控日志体系。
LinkedIn SRE 面试流程解读:从规模背景、电话筛选、代码与运维题,到现场故障排除、告警分级和大型网站架构设计面试。
本文介绍 Meta/Facebook SLICK 的 SLO 平台实践:统一 SLI/SLO 定义、长期保留分钟级指标、提供可发现的服务可靠性视图,并把 SLO 接入事件处理和可靠性报告工作流。
告警通知降噪的关键不是把所有告警细节塞进短信或电话,而是把通知入口收敛、把查看细节交给页面聚合。本文用 300 条告警的场景说明通知策略、分派、升级和值班协同如何配合。
排班 OnCall 不是简单把告警分给某个人,而是让故障响应、团队稳定、知识沉淀和客户支持形成机制化闭环。
告警风暴治理不能只靠屏蔽通知,核心是优化告警策略、区分业务告警和资源告警、建立统一 OnCall 中心,并用去重、聚合、抑制、静默和量化指标持续降低告警噪音。