灾备演练从来不是走形式的台账游戏

跑了快八年的IT口，见过太多关于灾备的离谱事。

没人喜欢灾备演练。

太费精力。

要协调的部门太多，要担的责任太重，搞不好还要被别的部门吐槽“没事找事”。

上次去园区里一家做支付的公司跟现场，刚进机房门就看到运维组的小周蹲在机柜边，对着手里的Excel台账打勾，连存放在旁边的备库切换脚本，都没插U盘跑一遍。

很多人把演练当成走流程的台账游戏

这不是个例。

我见过太多公司的年度灾备演练报告，写得比小说还精彩，什么RTO达标率100%，RPO小于1分钟，全链路切换零故障。真拉闸的时候，状况百出。

80%的灾备演练，第一次全流程跑下来，都要出至少三个之前完全没预料到的问题。

比如上次那家支付公司的演练，台账上写着核心交易系统切换到异地备中心只需要15分钟，真把本地机房的外网链路拔掉，从流量调度、数据库主备切换，到最后逐笔校验交易数据的一致性，前前后后花了47分钟。中间还因为备库的同步脚本三个月没更新，直接丢了最近3分钟的交易流水，现场的运维负责人脸都绿了，汗顺着安全帽的帽檐往下滴，连水都顾不上喝。

说实话，这种走流程的演练，除了能应付审计部门的检查，真遇到事的时候一点用都没有。你甚至能看到有人提前一周就把所有要做的操作步骤写在便签上，照着念都能念错——毕竟真出故障的时候，没人会提前一周给你发通知，告诉你今天下午两点要断网，要你把所有步骤提前背熟。

无预告的演练，才是真的能测出窟窿的演练

我之前遇到过的最“折腾”的一次演练，是某电商团队在去年大促前搞的。

没有提前发通知，没有给各个部门提前打招呼，直接在凌晨3点，由IT部门的负责人亲自上手，把核心机房的外网总链路给拔了。

结果呢？

负责客服系统的团队根本不在值守名单里，等了20分钟才有人接应急电话；负责流量调度的同学家里断网，没法远程登管理后台；甚至连灾备指挥室的门卡，因为长期没人用已经消磁了，一群人堵在走廊等行政拿备用钥匙，整整耗了8分钟。

这事说出来都可笑。

但是真的遇到机房整体断电、勒索病毒加密、甚至极端情况下的物理灾害，哪会有人提前给你留够准备的时间？你之前所有顺顺利利的彩排，本质上都是在自己骗自己。

真正有效的灾备演练，从来都是要打破所有提前准备的舒适区的。你得模拟各种离谱的状况：核心运维人员因为交通管制没法到岗，备用的指挥电话因为占线打不通，甚至连存放在指挥室的应急手册，都被保洁阿姨当成废纸收走了——这些看起来离谱的小事，真的出故障的时候，每一件都能成为卡脖子的大问题。

有人说这样搞太折腾，万一把生产系统搞挂了怎么办？其实不然，你在演练的时候搞挂系统，代价是可控的，要是等真出故障的时候手忙脚乱搞挂了，那代价你担不起。

演练花出去的成本，从来都比故障的代价低

很多公司的管理层算不过来这笔账。

觉得搞一次完整的灾备演练，要协调十几个部门，要占运维团队大半个月的下班时间，要付云厂商的跨区同步流量费，一次下来大几十万的成本，完全是没必要的开销。

但是你算过真出故障的代价吗？

我之前跟一个制造业的IT负责人聊，他说之前觉得灾备就是买两台存储阵列放在另外一栋楼里，每年也就测一下备份文件能不能正常读取，从来没真做过全链路的切换演练。去年夏天机房漏雨，把核心的生产存储给泡了，折腾了三天才把数据从异地备份里完整捞回来，整条生产线停摆的损失，够他们踏踏实实做十次跨城的完整灾备演练。

他说现在每次搞演练，他都要亲自在现场盯着，连负责后勤的行政，都要知道灾备指挥室的备用钥匙放在哪个抽屉里。别觉得这是小事，上次演练的时候，一群人堵在指挥室门口等钥匙，等进去的时候，最佳的切换时间窗口都快过了。

别觉得把灾备系统买回去就万事大吉了，系统是死的，人是活的。你不练，真出事的时候，连哪个按钮点下去是切流量都记不住。

上次参加完一次无预告的灾备演练，已经是凌晨两点了，几个运维的小伙子蹲在机房走廊的台阶上吃泡面。其中一个人说，之前总觉得每次演练都是折腾人，直到上个月公司遇到勒索病毒攻击，因为之前已经练过三次快速隔离和流量切换，整个恢复过程只花了18分钟，连老板都没惊动。

那时候就觉得，这事真不是做给审计看的。

它是你在真的遇到那些意料之外的破事的时候，能兜住底的最后一道防线。