錄製故障回顧:把事故變成團隊的知識資產
用螢幕錄影記錄故障時間軸、分享根因分析,讓事後回顧成為團隊真正願意觀看並從中學習的內容。
錄製故障回顧:把事故變成團隊的知識資產
每個團隊在故障之後都會撰寫事後回顧文件,但真正讀完的人少得多。一份塞滿儀表板連結與日誌片段的時間軸,等於要求讀者在腦中重建整場事故。多數人只會草草掃過、點個頭,然後翻篇。
一段簡短的螢幕錄影能改變這一點。與其描述凌晨 2:14 的錯誤率曲線長什麼樣,不如直接呈現;與其解釋是哪一條查詢找出了根因,不如當場執行一次。本文將說明如何錄製團隊真的會看的回顧影片,以及如何讓它在幾個月後依然有價值。
為什麼要錄製回顧
- 證據勝過描述:曲線、追蹤與日誌本質上就是視覺化的,截圖會失去讓異常一目了然的前後變化
- 製作更快:對著已經開好的畫面講一遍,比字斟句酌地寫文章省時間
- 對新人更友善:一段 6 分鐘的故障回顧,比一頁 Wiki 更快讓新工程師理解系統的失效方式
- 保留思考脈絡:文件記錄發生了什麼,錄影則保留處理者在每一步為什麼那樣判斷
- 適合非同步協作:分散的團隊不必再跨時區安排會議,就能消化這次檢討
錄什麼、不錄什麼
回顧錄影不是把整場事故重播一次,只保留「看比讀更有效」的部分。
應該錄製:
- 發現的那一刻——警報、儀表板、第一則使用者回報
- 呈現故障期間影響範圍的關鍵曲線
- 逐步縮小範圍的排查過程(包含走過的冤枉路)
- 引發故障的確切程式碼、設定或查詢
- 修復生效、指標回復的過程
應該略過:
- 等待部署或資料載入的漫長空檔
- 與診斷無關的內部閒聊
- 一句旁白就能講清楚的任何內容
開錄前的準備
事件應變工具裡有太多不該出現在共享影片中的內容,花五分鐘做好準備:
- 事先開好所有分頁:時間範圍正確的儀表板、相關日誌查詢、Pull Request、警報
- 固定時間範圍:把儀表板鎖定在故障時段,讓觀眾看到和你一樣的畫面
- 關閉敏感畫面:客戶資料、含個資的內部工單、私訊視窗、密碼管理器
- 靜音通知:沒有什麼比嚴肅回顧中途跳出午餐提醒更破壞氣氛
- 寫下三行大綱:影響、根本原因、預防措施。其餘內容都掛在這三點之下
如果儀表板就在單一瀏覽器視窗中,請使用視窗擷取而非全螢幕,這是確保畫面不外洩最簡單的方式。
行之有效的結構
影片控制在 5 到 10 分鐘。可靠的結構如下:
- 先講影響(30 秒):誰受到影響、持續多久、嚴重程度如何。多數觀眾就是為這個而來
- 時間軸說明(2–3 分鐘):在真實儀表板上呈現偵測、升級、緩解、解決的過程
- 根本原因(2–3 分鐘):展示真實的程式碼路徑、設定變更或查詢,並放大到具體行數
- 難點在哪(1 分鐘):缺漏的警報、令人困惑的日誌、不明確的負責範圍——這些在文件裡往往被抹平
- 後續行動(1 分鐘):逐條唸出行動項與負責人,並在說明欄附上連結
用編輯器提升可讀性
原始故障影片資訊密度很高,用 Recorded 的編輯器把它整理成容易跟上的內容:
- 縮放效果:儀表板與日誌字級都很小,放大到異常尖峰、錯誤訊息、問題 diff,別讓觀眾瞇著眼看
- 速度區間:快速跳過部署流程與查詢執行,在根因浮現的那一刻回到正常速度
- 文字疊加:在時間軸講解上標註時間戳(
02:14 UTC — 首次警報),讓影片與文件對得上 - 修剪:把因儀表板時間範圍選錯而重來的開頭剪掉
- 游標效果:示範重現步驟時強調點擊動作
網路攝影機畫面只在開頭與結尾使用。談影響與行動項時,露臉有助於傳達語氣;分析日誌時,它只會擋住終端機。
在鏡頭前維持無咎責文化
影片比文件更容易傳遞語氣,同一句話因說法不同,可能聽起來像分析,也可能像指責。
- 說「這次部署引入了問題」,而不是點名是誰發佈的
- 依當時能掌握的資訊來敘述:「在這個時間點,我們還沒有佇列深度指標」
- 坦然呈現走過的冤枉路,那正說明系統難以診斷,本身就是一條改進項
- 如果第一次開場聽起來帶著情緒,重錄一次。只需兩分鐘,卻決定了所有觀眾的感受
與文件搭配使用
錄影是回顧文件的補充,而非取代。文件可搜尋、可連結、可速覽,影片做不到。
良好的搭配是:
- 時間軸、行動項與負責人以文件為準
- 影片嵌在文件開頭,附一行說明它涵蓋了什麼
- 說明欄的章節時間戳讓讀者直接跳到根因段落
- 行動項要登錄在任務系統,而不是只留在影片裡
建立故障影片庫
單支錄影有用,成體系的合集價值更高。
- 統一命名:
2026-09-28-checkout-latency-postmortem這樣的格式便於排序與搜尋 - 依系統加標籤:依涉及的服務分類,就能把某個元件的全部資料一次交給新的待命工程師
- 每季回顧:一次看完上一季的錄影,重複出現的失效模式會立刻浮現
- 用於新人訓練:精選三、四次過往事故,是讓新人了解系統真實失效方式最快的途徑
常見錯誤
- 在故障處理中錄影:先專注止血,等能平靜講述時再錄製回顧
- 直接分享原始素材:未經剪輯的 40 分鐘螢幕分享不是回顧,沒人會看
- 外洩客戶資料:分享前務必完整看過一遍,特別檢查日誌與儀表板是否含個資
- 省略影響摘要:只看前一分鐘就離開的觀眾,也應該帶走最關鍵的事實
- 用它取代文件:半年後類似故障再次發生時,影片是搜尋不到的
結語
當事後回顧只是為了歸檔、而不是為了被理解時,它就失敗了。一段聚焦的螢幕錄影——影響前置、證據上畫面、語氣不帶咎責、行動項明確——能把每一次故障都變成整個團隊十分鐘就能學會的東西。
下次回顧別只寫文件,試著錄一段,看看有多少人真正投入其中。