CDN机房实拍视频记录故障排查全过程为运维培训提供素材

1.

概述与目的

小节1：目的说明：本视频用于记录CDN机房典型故障的现场排查流程，作为运维人员培训素材和复盘依据。
小节2：适用范围：适用于含边缘节点、负载均衡器、缓存服务器、交换机、UPS/PDU的CDN机房现场故障场景。
小节3：成果形式：原始实拍视频、时间轴标注、问题定位日志、复现步骤和培训讲义。

2.

准备工作与设备清单

小节1：人员：1名主排查工程师、1名视频记录员（可由同一人兼任）、1名安全/门禁管理员。
小节2：硬件：手持摄像机或稳定手机、备电（移动电源）、备用网线、网口测试仪、串口线、USB串口转接器、万用表、标签纸和笔。
小节3：软件：笔记工具（如Notion/OneNote）、远程终端（SSH工具）、tcpdump/iftop、日志收集脚本、视频录制/剪辑软件。

3.

进入机房与安全检查

小节1：门禁与安装登记：到场先刷门禁并拍摄门禁记录（时间戳），登记设备/人员。
小节2：防静电与着装：穿防静电服、佩戴防静电腕带，并在接地处检查腕带接触良好。
小节3：电力与冷却确认：记录机房温湿度、机柜电源指示、UPS负载与PDU开关状态，拍摄为素材。

4.

视频拍摄规程（先讲操作后拍摄）

小节1：先规划镜头：先拍全景（机柜行列、冷通道），再拍近景（面板指示灯、标签、故障端口）。
小节2：时间戳与语音说明：每一步操作前口述当前时间、设备编号和预期操作，便于后期剪辑与培训讲解。
小节3：多角度与关键细节：对指示灯、端口序号、网线走线、规格标签进行特写，使用手指指示关键信息。

5.

故障排查——初步确认流程

小节1：收集故障现象：通过监控告警、用户反馈或SRE报告记录故障时间、影响范围和症状（丢包、超时、缓存未命中等）。
小节2：现场观测：打开机柜门，检查设备指示灯（PWR、ALM、LINK、ACT），拍摄异常指示并记录端口号。
小节3：物理层检查：用网线测试仪检测网线连通性，检查光纤收发器是否脱落或接口脏污，用万用表测量PDU输出电压（注意安全）。

6.

故障排查——网络层与设备级操作

小节1：交换机/路由器：登录交换机控制台（SSH或串口），执行show interfaces、show log、show mac address-table等命令并录屏/录制终端操作。
小节2：服务器/缓存节点：SSH连接到故障节点，查看系统日志（/var/log/messages、dmesg），检查网卡配置（ip addr、ethtool）、进程状态（ps、top）、磁盘和内存使用。
小节3：抓包与性能分析：在关键路径使用tcpdump（示例：tcpdump -i eth0 -w /tmp/capture.pcap host 10.0.0.1 and port 80），记录抓包时间并同步到视频时间轴。

7.

电力与硬件重启策略

小节1：判断是否需要软重启：优先尝试重启网络服务或进程（systemctl restart nginx），并记录前后日志差异。
小节2：物理重启流程：若需断电重启，先标注受影响设备并通知上游/下游维护窗口，按序关闭负载后断电，断电后等待30秒再上电。
小节3：UPS与PDU检查：检查UPS事件日志（如有SNMP或管理界面），确认是否有电池或输出异常，拍摄PDU开关位置变化。

8.

复现与验证步骤

小节1：复现故障：在安全范围内按原故障路径和条件进行复现（如特定流量模式或配置变更），并同时录像。
小节2：逐步回滚与对比：若进行了配置修改，逐步回滚到历史版本并记录每一步效果，保存每次验证的命令输出。
小节3：验证恢复：使用业务模拟流量或监控指标确认服务恢复（RTT、丢包率、请求成功率），视频中展示恢复前后对比图表。

9.

记录与标注实操要点

小节1：同步时间：所有设备与拍摄设备时间必须同步（NTP），便于将视频时间戳与设备日志对齐。
小节2：命名规范：视频文件名、抓包文件名、日志文件名按日期_机房_设备_事件命名，如2026-08-14_DC1_sw01_linkdown.pcap。
小节3：现场笔记：每次操作写成结构化笔记（问题-假设-操作-结果），并在视频中引用笔记编号便于培训查阅。

10.

后期整理与制作培训素材

小节1：剪辑要点：保留关键操作片段（检查指示灯、登录命令、抓包过程、重启动作、恢复时刻），去除空白和不相关片段。
小节2：添加字幕与时间轴：为每个关键步骤添加文字说明、命令行输出截图和时间轴索引（方便跳转）。
小节3：制作讲义：将排查步骤整理为可执行SOP，包括命令清单、检查表和安全须知，配套视频作为演示。

11.

合规与隐私、发布流程

小节1：屏蔽敏感信息：模糊化或遮挡控制台中出现的密钥、IP段、客户标识等敏感信息。
小节2：审核与授权：视频发布前应由团队负责人审核并记录授权人，确认无外泄风险后方可用于内训或外放。
小节3：存档与备份：将原始视频、已剪辑教学视频、抓包与日志归档到内部知识库，并设置访问权限。

12.

常见问题与预防性措施

小节1：常见故障类型：链路掉线、设备温度过高、PDU过载、配置回滚错误、缓存失效等。
小节2：预防措施：定期巡检机房环境、检查线缆固定、执行变更前回滚测试、建立标准化工单和演练。
小节3：培训建议：用实拍视频结合模拟演练提高新人对实际场景的判断与操作能力。

13.

问题：如何保证实拍视频在故障现场拍摄时不影响排查进度？

小节1：回答要点：先由主工程师完成关键判断与必要操作再让视频记录员同步拍摄；若人员不足，先口述操作步骤、关键参数和时间戳再执行；
小节2：实操建议：使用两台设备并行（一台录影一台操作），或者先录制屏幕终端与抓包，再对重要现场做补拍，避免因拍摄耽误排查。

14.

问题：抓取网络流量时如何既保证取证又不泄露敏感信息？

小节1：回答要点：在抓包前明确抓取目标IP与端口范围，使用过滤参数减少数据量（例如tcpdump host A and port 80），并对抓包文件进行脱敏处理；
小节2：实操建议：抓包后在离线环境中分析，删除或模糊客户敏感字段，仅保存问题相关的元数据与可复现流量。

15.

问题：如何把故障实拍视频转化为有价值的运维培训课程？

小节1：回答要点：将视频拆分为模块（发现、定位、验证、恢复、复盘），为每模块配套PPT与练习题，列出关键命令和SOP；
小节2：实操建议：在培训中加入角色扮演与模拟故障演练，使用时间轴标注让学员按步骤复现，最终评估学员完成标准化排查流程的能力。

来源：CDN机房实拍视频记录故障排查全过程为运维培训提供素材