錄製故障回顧:把事故變成團隊的知識資產

用螢幕錄影記錄故障時間軸、分享根因分析,讓事後回顧成為團隊真正願意觀看並從中學習的內容。

錄製故障回顧:把事故變成團隊的知識資產

每個團隊在故障之後都會撰寫事後回顧文件,但真正讀完的人少得多。一份塞滿儀表板連結與日誌片段的時間軸,等於要求讀者在腦中重建整場事故。多數人只會草草掃過、點個頭,然後翻篇。

一段簡短的螢幕錄影能改變這一點。與其描述凌晨 2:14 的錯誤率曲線長什麼樣,不如直接呈現;與其解釋是哪一條查詢找出了根因,不如當場執行一次。本文將說明如何錄製團隊真的會看的回顧影片,以及如何讓它在幾個月後依然有價值。

為什麼要錄製回顧

  • 證據勝過描述:曲線、追蹤與日誌本質上就是視覺化的,截圖會失去讓異常一目了然的前後變化
  • 製作更快:對著已經開好的畫面講一遍,比字斟句酌地寫文章省時間
  • 對新人更友善:一段 6 分鐘的故障回顧,比一頁 Wiki 更快讓新工程師理解系統的失效方式
  • 保留思考脈絡:文件記錄發生了什麼,錄影則保留處理者在每一步為什麼那樣判斷
  • 適合非同步協作:分散的團隊不必再跨時區安排會議,就能消化這次檢討

錄什麼、不錄什麼

回顧錄影不是把整場事故重播一次,只保留「看比讀更有效」的部分。

應該錄製:

  • 發現的那一刻——警報、儀表板、第一則使用者回報
  • 呈現故障期間影響範圍的關鍵曲線
  • 逐步縮小範圍的排查過程(包含走過的冤枉路)
  • 引發故障的確切程式碼、設定或查詢
  • 修復生效、指標回復的過程

應該略過:

  • 等待部署或資料載入的漫長空檔
  • 與診斷無關的內部閒聊
  • 一句旁白就能講清楚的任何內容

開錄前的準備

事件應變工具裡有太多不該出現在共享影片中的內容,花五分鐘做好準備:

  1. 事先開好所有分頁:時間範圍正確的儀表板、相關日誌查詢、Pull Request、警報
  2. 固定時間範圍:把儀表板鎖定在故障時段,讓觀眾看到和你一樣的畫面
  3. 關閉敏感畫面:客戶資料、含個資的內部工單、私訊視窗、密碼管理器
  4. 靜音通知:沒有什麼比嚴肅回顧中途跳出午餐提醒更破壞氣氛
  5. 寫下三行大綱:影響、根本原因、預防措施。其餘內容都掛在這三點之下

如果儀表板就在單一瀏覽器視窗中,請使用視窗擷取而非全螢幕,這是確保畫面不外洩最簡單的方式。

行之有效的結構

影片控制在 5 到 10 分鐘。可靠的結構如下:

  1. 先講影響(30 秒):誰受到影響、持續多久、嚴重程度如何。多數觀眾就是為這個而來
  2. 時間軸說明(2–3 分鐘):在真實儀表板上呈現偵測、升級、緩解、解決的過程
  3. 根本原因(2–3 分鐘):展示真實的程式碼路徑、設定變更或查詢,並放大到具體行數
  4. 難點在哪(1 分鐘):缺漏的警報、令人困惑的日誌、不明確的負責範圍——這些在文件裡往往被抹平
  5. 後續行動(1 分鐘):逐條唸出行動項與負責人,並在說明欄附上連結

用編輯器提升可讀性

原始故障影片資訊密度很高,用 Recorded 的編輯器把它整理成容易跟上的內容:

  • 縮放效果:儀表板與日誌字級都很小,放大到異常尖峰、錯誤訊息、問題 diff,別讓觀眾瞇著眼看
  • 速度區間:快速跳過部署流程與查詢執行,在根因浮現的那一刻回到正常速度
  • 文字疊加:在時間軸講解上標註時間戳(02:14 UTC — 首次警報),讓影片與文件對得上
  • 修剪:把因儀表板時間範圍選錯而重來的開頭剪掉
  • 游標效果:示範重現步驟時強調點擊動作

網路攝影機畫面只在開頭與結尾使用。談影響與行動項時,露臉有助於傳達語氣;分析日誌時,它只會擋住終端機。

在鏡頭前維持無咎責文化

影片比文件更容易傳遞語氣,同一句話因說法不同,可能聽起來像分析,也可能像指責。

  • 說「這次部署引入了問題」,而不是點名是誰發佈的
  • 依當時能掌握的資訊來敘述:「在這個時間點,我們還沒有佇列深度指標」
  • 坦然呈現走過的冤枉路,那正說明系統難以診斷,本身就是一條改進項
  • 如果第一次開場聽起來帶著情緒,重錄一次。只需兩分鐘,卻決定了所有觀眾的感受

與文件搭配使用

錄影是回顧文件的補充,而非取代。文件可搜尋、可連結、可速覽,影片做不到。

良好的搭配是:

  • 時間軸、行動項與負責人以文件為準
  • 影片嵌在文件開頭,附一行說明它涵蓋了什麼
  • 說明欄的章節時間戳讓讀者直接跳到根因段落
  • 行動項要登錄在任務系統,而不是只留在影片裡

建立故障影片庫

單支錄影有用,成體系的合集價值更高。

  • 統一命名:2026-09-28-checkout-latency-postmortem 這樣的格式便於排序與搜尋
  • 依系統加標籤:依涉及的服務分類,就能把某個元件的全部資料一次交給新的待命工程師
  • 每季回顧:一次看完上一季的錄影,重複出現的失效模式會立刻浮現
  • 用於新人訓練:精選三、四次過往事故,是讓新人了解系統真實失效方式最快的途徑

常見錯誤

  • 在故障處理中錄影:先專注止血,等能平靜講述時再錄製回顧
  • 直接分享原始素材:未經剪輯的 40 分鐘螢幕分享不是回顧,沒人會看
  • 外洩客戶資料:分享前務必完整看過一遍,特別檢查日誌與儀表板是否含個資
  • 省略影響摘要:只看前一分鐘就離開的觀眾,也應該帶走最關鍵的事實
  • 用它取代文件:半年後類似故障再次發生時,影片是搜尋不到的

結語

當事後回顧只是為了歸檔、而不是為了被理解時,它就失敗了。一段聚焦的螢幕錄影——影響前置、證據上畫面、語氣不帶咎責、行動項明確——能把每一次故障都變成整個團隊十分鐘就能學會的東西。

下次回顧別只寫文件,試著錄一段,看看有多少人真正投入其中。