本功能為商業版功能。本文從原理和資料流的角度,介紹夜鶯監控的告警引擎的相關知識,協助使用者理解告警流程,排查告警問題。

功能概述

告警升級通知可以專門解決「重要告警被忽視」的問題。當一個告警事件長時間未被處理時,系統會自動將告警升級,使用更高的通知通道或通知給更高級別的管理人員,確保關鍵問題得到及時回應。

核心價值

1. 避免告警遺漏

再也不用擔心重要告警被忽視,根據升級機制保證有人可以處理。

2. 分級回應機制

不同級別的問題自動匹配不同級別的回應團隊,提高處理效率。

3. 減少故障影響時間

通過自動升級機制,確保問題在最短時間內得到適當級別的關注。

典型使用場景

場景一:值班人員回應不及時

情況:凌晨 3 點,資料庫連線數告警,值班人員睡過頭了 升級流程

  • 0 分鐘:傳送釘釘通知給值班人員
  • 30 分鐘後:升級電話通知,電話通知值班人員
  • 60 分鐘後:電話通知值班經理和技術負責人

場景二:初級告警演變為嚴重問題

情況:磁碟使用率 85% 的告警未及時處理,可能導致服務不可用 升級流程

  • 初始:郵件通知
  • 30 分鐘後:釘釘通知
  • 1 小時後:電話通知

設定步驟詳解

步驟一:進入通知規則設定

  1. 登入平台,導航至「通知」-「通知規則」
  2. 選擇需要設定升級的通知規則,點選「編輯」
  3. 或建立新的通知規則

通知規則列表頁面

步驟二:定位升級設定區域

在通知規則編輯頁面,找到「升級設定」模組:

通知規則編輯頁面,升級設定區塊

步驟三:新增升級規則

1. 觸發條件設定

持續時間:設定告警持續多長時間後觸發升級

  • 建議值:P1 級別(15-30 分鐘)、P2 級別(30-60 分鐘)、P3 級別(60-120 分鐘)
  • 格式:輸入數字,選擇單位(分鐘/小時)

觸發狀態:選擇在什麼狀態下觸發升級

  • 未恢復:告警持續存在未解決
  • 未恢復且未認領:告警既未解決也無人認領(推薦)

觸發條件設定

2. 通知媒介設定

通知媒介:選擇使用哪種媒介傳送告警事件通知,如果已有媒介不滿足需求,可以聯絡管理員建立新的媒介 消息範本:通知內容的範本,可以根據不同的場景使用不同的範本 通知媒介設定

3. 設定篩選條件

適用級別:選擇要對哪個等級的告警事件進行通知,只有勾選上的級別,才會被通知。如果三個等級都沒有勾選,這個媒介就匹配不到告警事件了,相當於停用了這個媒介 適用時段:可以限制僅在勾選的星期與時間段內觸發升級,不設定表示不做限制 適用標籤:僅對滿足這些標籤條件的告警事件執行升級通知。用於縮小影響範圍,不設定表示不做限制。支援下拉選擇已有標籤鍵(推薦),也可手動輸入 適用屬性:僅對同時匹配這些屬性的告警啟用升級;不設定表示不做限制。多個條件為且關係

篩選條件

步驟四:設定多級升級

您可以設定多個升級規則,實現多級升級:

  1. 點選「新增通知升級」,新增第一級升級

    • 30 分鐘未處理,升級到 P2,通知運維組長
  2. 再次點選「新增通知升級」,新增第二級升級

    • 60 分鐘未處理,升級到 P1,通知運維經理
  3. 繼續新增更多升級級別…

設定範例

範例一:資料庫告警升級策略

初始通知:
- 級別:P2
- 通道:釘釘群
- 對象:DBA團隊

第一次升級(30分鐘後):
- 級別:升級為P1
- 通道:釘釘 + 簡訊
- 對象:DBA團隊 + DBA組長
- 重複通知:每15分鐘一次,最多3次

第二次升級(60分鐘後):
- 級別:保持P1
- 通道:電話
- 對象:技術經理

最佳實踐

1. 合理設定升級時間

原則:級別越高,升級時間越短

  • P1 級告警:15-30 分鐘升級
  • P2 級告警:30-60 分鐘升級
  • P3 級告警:60-120 分鐘升級

2. 漸進式升級策略

建議採用逐步升級

  • 第一級:通知直接負責人
  • 第二級:通知團隊負責人
  • 第三級:通知上級管理者

3. 差異化通知通道

根據緊急程度選擇通道

  • 一般告警:郵件、釘釘
  • 重要告警:簡訊、企業微信
  • 緊急告警:電話、多通道並行

注意事項

關於告警狀態

  1. 未認領:沒有人確認正在處理這個告警
  2. 已認領:有人已經在處理,不會觸發升級

常見問題

Q1:如果告警在升級過程中被認領了會怎樣?

:一旦告警被認領,升級流程會自動停止,不會繼續升級。這鼓勵團隊成員及時認領和處理告警。

Q2:升級後的告警級別會影響其他規則嗎?

:升級只影響通知傳送,不會改變告警本身的屬性。其他基於告警級別的規則(如告警抑制)仍使用原始級別。

快猫星云 联系方式 快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云 联系方式
快猫星云