录制故障复盘:把事故变成团队的知识资产

用屏幕录制记录故障时间线、分享根因分析,让复盘变成团队真正愿意观看并从中学习的内容。

录制故障复盘:把事故变成团队的知识资产

每个团队在故障之后都会写复盘文档,但真正把它读完的人少得多。一份塞满仪表盘链接和日志片段的时间线,实际上是在要求读者在脑中重建整场事故。多数人只会草草扫一眼、点点头,然后翻篇。

一段简短的屏幕录制能改变这一点。与其描述凌晨 2:14 的错误率曲线长什么样,不如直接展示;与其解释是哪条查询定位到了根因,不如当场跑一遍。本文将介绍如何录制团队真正会看的故障复盘视频,以及如何让它在几个月后依然有价值。

为什么要录制复盘

  • 证据胜过描述:曲线、链路追踪和日志本身就是可视化的,截图会丢掉让异常一目了然的前后变化
  • 制作更快:对着已经打开的界面讲一遍,比字斟句酌地写文章省时间
  • 对新人更友好:一段 6 分钟的故障回顾,比一页 Wiki 更快让新工程师理解系统的失效方式
  • 保留思考过程:文档记录发生了什么,录像则记录处理者在每一步为什么那样判断
  • 适合异步协作:分布式团队无需跨时区再约一次会议,就能消化这次评审

录什么,不录什么

复盘录像不是把整场事故重播一遍,只保留”看比读更有效”的部分。

应该录制:

  • 发现的那一刻——告警、仪表盘、第一条用户反馈
  • 展示故障期间影响范围的关键曲线
  • 逐步缩小范围的排查过程(包括走过的弯路)
  • 引发故障的确切代码、配置或查询
  • 修复生效、指标恢复的过程

应当跳过:

  • 等待部署或数据加载的漫长空档
  • 与诊断无关的内部闲聊
  • 一句旁白就能说清楚的任何内容

开录前的准备

事件响应工具里有太多不该出现在共享视频中的内容,花五分钟做好准备:

  1. 提前打开所有标签页:时间范围正确的仪表盘、相关日志查询、Pull Request、告警
  2. 固定时间范围:把仪表盘锁定在故障时段,让观众看到和你一样的画面
  3. 关闭敏感界面:客户记录、含个人信息的内部工单、私聊窗口、密码管理器
  4. 静音通知:没有什么比严肃复盘中途弹出午餐提醒更破坏气氛的了
  5. 写下三行提纲:影响、根因、预防措施。其余内容都挂在这三点之下

如果仪表盘就在一个浏览器窗口里,请使用窗口捕获而非全屏,这是确保画面不外泄的最简单方式。

一个行之有效的结构

视频控制在 5 到 10 分钟。可靠的结构如下:

  1. 先讲影响(30 秒):谁受到影响、持续多久、严重程度如何。多数观众就是为这个来的
  2. 时间线梳理(2–3 分钟):在真实仪表盘上呈现发现、升级、缓解、恢复的过程
  3. 根本原因(2–3 分钟):展示真实的代码路径、配置变更或查询,并放大到具体行
  4. 难点在哪(1 分钟):缺失的告警、令人困惑的日志、不清晰的归属——这些在文档里往往被抹平
  5. 后续行动(1 分钟):逐条念出行动项和负责人,并在描述中附上链接

用编辑器让内容更易读

原始故障录像信息密度很高,用 Recorded 的编辑器把它整理成易于跟随的内容:

  • 缩放效果:仪表盘和日志字号都很小,放大到异常峰值、错误信息、问题 diff,别让观众眯着眼看
  • 速度区间:快速跳过部署流水线和查询执行,在根因浮现的那一刻恢复正常速度
  • 文字叠加:在时间线讲解上标注时间戳(02:14 UTC — 首次告警),让视频与文档对得上
  • 裁剪:把因仪表盘时间范围选错而重来的开头剪掉
  • 光标效果:演示复现路径时高亮点击动作

摄像头画面只在开头和结尾使用。讲影响和行动项时,露脸有助于传达语气;分析日志时,它只会挡住终端。

在镜头前保持无责备文化

视频比文档更容易传递语气,同一句话,说法不同,听起来可能是分析,也可能是指责。

  • 说”这次部署引入了问题”,而不是点名是谁发布的
  • 按当时能掌握的信息来叙述:“在这个时间点,我们还没有队列深度指标”
  • 坦然展示走过的弯路,它们恰恰说明系统难以诊断,本身就是一条改进项
  • 如果第一条开场白听起来带着情绪,重录一次。只需两分钟,却决定了所有观众的感受

与文档配合使用

录像是复盘文档的补充,而非替代。文档可检索、可链接、可速览,视频做不到。

好的搭配是:

  • 时间线、行动项和负责人以文档为准
  • 视频嵌在文档开头,附一行说明它涵盖了什么
  • 描述中的章节时间戳让读者直接跳到根因部分
  • 行动项要录入任务系统,而不是只留在视频里

建立故障影片库

单个录像有用,成体系的合集则价值更高。

  • 统一命名:2026-09-28-checkout-latency-postmortem 这样的格式便于排序和搜索
  • 按系统打标签:按涉及的服务归类,就能把某个组件的全部资料一次交给新的值班工程师
  • 每季度回顾:一次性看完上个季度的录像,重复出现的失效模式会立刻浮现
  • 用于新人培训:精选三四次过往事故,是让新人了解系统真实失效方式的最快途径

常见误区

  • 在故障处理中录制:先专注止损,等能平静讲述时再录制复盘
  • 直接分享原始素材:未经剪辑的 40 分钟屏幕共享不是复盘,没人会看
  • 泄露客户数据:分享前务必完整看一遍,专门检查日志和仪表盘中是否含个人信息
  • 省略影响概述:只看前一分钟就离开的观众,也应该带走最关键的事实
  • 用它取代文档:半年后类似故障再次发生时,视频是搜不到的

结语

当复盘只是为了归档而不是为了被理解时,它就失败了。一段聚焦的屏幕录制——影响前置、证据上屏、语气不带指责、行动项明确——能把每一次故障都变成整个团队十分钟就能学会的东西。

下次复盘不要只写文档,试着录一段,看看有多少人真正参与进来。