可观测性不是监控升级包

上周三晚上在软件大道路边的烧烤摊，我和之前在阿里做了六年SRE、现在跳去河西某SaaS创业公司当运维负责人的老周撸串，他咬着烤筋跟我吐槽，说他们公司去年花了小二十万上了全套的可观测性平台，结果上个月半夜支付接口出问题，全团队爬起来排查了俩小时，才找到根因。

老周喝了口冰啤酒，翻了个白眼。之前他们的监控系统，就是每个服务器装个agent，盯CPU、内存、磁盘，接口成功率，阈值设的都是CPU超过80%告警，接口成功率低于99%告警，结果上次支付接口成功率掉了0.2%，刚好在阈值以下，没触发告警，等客服那边收到用户的投诉，说付了钱没拿到会员，已经过了二十分钟了。全团队翻三个系统的日志，拼同一个订单的链路，找了俩小时才发现是第三方支付渠道的回调签名校验逻辑改了，他们这边的验签代码没同步，导致回调全被打回来，用户的支付状态没更新。

真的。

这种无力感，做过运维的都懂。

别把可观测性当监控的豪华套餐

很多人觉得可观测性就是监控加了个分布式链路追踪，说白了就是监控的豪华套餐？真不是。监控是你提前知道要盯什么指标，设好阈值，出问题了给你发告警。可观测性是你哪怕提前根本没想到会出这个问题，也能通过已经采集到的所有关联数据，顺着线索把根因挖出来。

之前我也模糊觉得这俩差不离，直到帮朋友排查那个跨区域的文件同步故障——他们的监控只看到存储节点的IO偶尔波动，没触发告警，但用户那边上传文件偶尔失败，查了半天才发现是跨区域专线的丢包率刚好卡在0.3%，没到他们设的1%的告警阈值。如果当时有完整的可观测性数据，从用户上传的请求开始，到网关、应用服务器、存储节点、跨区域专线的丢包数据全串起来，根本不用花一下午排查。

说白了，监控是“你知道要盯什么，它帮你盯”，可观测性是“不管你有没有想到要盯，出了问题你能顺着现有的数据挖出来”，这俩根本不是一回事。

90%的团队第一步就走偏了

老周他们当时上平台的时候，厂商过来给做方案，说要把所有系统的日志、指标、trace全灌进去，最大化覆盖范围，他们当时觉得花了钱就要全用上，二话不说就接了。结果呢？平台一天要存几十T的日志，包括前端的所有点击埋点、后端的所有debug级别日志，查个链路要等半分钟才能出来，告警一天几千条，什么某个用户点了个按钮接口慢了100ms，某个服务器的磁盘使用率涨了2%，全给你发告警，最后大家直接把告警群设成免打扰，出了真故障反而没人知道。

我去年帮江宁那边一个做跨境独立站的团队梳理可观测性方案，一开始他们也说要全接，我硬给拦下来。先别管什么覆盖率，就先找你们最核心的、出了故障直接影响营收的链路——说白了就是用户从进网站、选品、加购、下单、支付、收到发货通知这一条线，先把这条线上的每个关键节点的核心指标、日志、trace串起来，每个请求的唯一ID从进网站就生成，一路跟着到支付回调，出了问题顺着这个ID就能把全链路的日志都拉出来。

就这么个小改动，上个月他们的支付渠道出了证书过期的问题，之前要花40分钟跨三个系统拼日志找根因，现在5分钟就定位到是回调验签失败，直接拿着日志找第三方的对接人，对方十分钟就把证书换好了，连故障工单都不用开。

说穿了，可观测性落地从来不是“接的系统越多越好”，是“你能不能最快的定位最影响营收的故障”，上来就全量灌数据，最后平台变成没人用的数据垃圾桶，钱全打了水漂。

别迷信工具，人才是核心

我见过太多团队，买了最贵的可观测性平台，结果用了一年，里面的dashboard还是厂商一开始给搭的通用模板，根本没结合自己的业务改，出了问题还是靠人翻日志，那这钱花得真不如给团队发两次团建基金。可观测性的核心从来不是堆多少数据，是你能不能让团队愿意用这些数据，快速解决问题。

老周他们之前的告警，全是按系统分的，订单系统的告警发给订单组，支付系统的发给支付组，结果出了跨系统的故障，大家你推我我推你，没人愿意牵头查，最后还是技术总监在群里@所有人，才有人出来排查。后来他们改了规则，给每条核心链路定了唯一的负责人，不管哪个节点出问题，链路负责人先牵头拉通排查，告警的价值永远在精不在多，现在他们把没用的告警全删了，一天也就十几条告警，全是核心链路上的真问题，大家也愿意看了。

当然也别把可观测性神化，它不是万能的。你产品逻辑写崩了，或者运营配错了活动规则，它帮不了你，它只能帮你更快定位技术层面的根因，别指望上了平台就再也不会出故障。

那天撸串到快十二点，老周说他们现在把平台上没用的日志全清了，就留核心链路的，现在出故障最多十分钟就能定位，上次大促的时候，全程盯着核心链路的dashboard，连半夜的告警都没几条，全团队睡了个安稳觉。

我咬了口烤茄子，没说话。

真的，做技术的，别总追着新名词跑，能解决实际问题的，才是好东西。