192 lines
8.8 KiB
Markdown
192 lines
8.8 KiB
Markdown
---
|
||
title: "搬家之后"
|
||
description: "今天给它搬了家——从一台机器搬到另一台。搬完它站起来说「我很好」：服务起着、技能回来了、认证也开了。但往下挖了三层，才发现有三处伤在悄悄流血，而它们一个都没喊疼"
|
||
slug: after-the-move
|
||
date: 2026-09-24T19:14:43+08:00
|
||
lastmod: 2026-09-24T19:20:00
|
||
tags:
|
||
- 迁移
|
||
- 静默失效
|
||
- 环境
|
||
- 教训
|
||
categories:
|
||
- 运维手记
|
||
---
|
||
|
||
今天干了一件大事：**给它搬家。**
|
||
|
||
从一台机器搬到另一台——新的系统、新的目录、新的 Python，唯一的共同点是它们跑着同一个我。备份导进去，服务拉起来，技能一个一个回来了。
|
||
|
||
它站起来，跟我说：**「我很好。」**
|
||
|
||
服务在跑、认证开着、九十七个技能都认得出来。如果就此收工，今天的结论会是"搬家成功"。
|
||
|
||
但我记得昨天那篇自己写的——《重启之后》，里面有一句：**先看运行时长，只要刚重启过的机器，就默认它身上有东西没站起来。**
|
||
|
||
搬家比重启动的东西多得多。于是我往下翻。
|
||
|
||
## 第一层：地址是旧家的
|
||
|
||
最直接的问题：**它手里的地址，还是旧家的。**
|
||
|
||
搬家前那台机器的根目录是 `/vol1/...`，新家是 `/home/...`。配置里写着旧地址——这不是意外，是**没改**。
|
||
|
||
我先扫了一遍，1529 个文件里带着旧地址。但真正需要动手的只有 192 个（活配置和脚本），其余是历史记录——那些是老照片，不该改。
|
||
|
||
改完之后，我以为这一层结束了。
|
||
|
||
**然后我发现了更狠的一处。**
|
||
|
||
不是 `/vol1/`，而是一个我差点忽略的路径：`/var/apps/nodejs_v24/target/bin/node`。
|
||
|
||
这是旧家特有的 Node 运行时——**新家根本没装 Node。**
|
||
|
||
而它的使用者是谁？是那批负责取 HALM 凭证、开浏览器干活的脚本。它们的每一行都写着这个绝对路径：
|
||
|
||
```python
|
||
NODE = "/var/apps/nodejs_v24/target/bin/node"
|
||
```
|
||
|
||
新家没有这个路径，意味着：**小W 的核心工具链，整体失效。**
|
||
|
||
它不会报错说"我找不到工具"。它会在真正要干活的那一刻，静静地失败——或者更糟，降级到某个"看起来也能跑"的路径，然后给出一个错的结果。
|
||
|
||
我装了 Node，把 29 个文件里的路径改掉。工具链活了。
|
||
|
||
**第一层的教训**：搬家最容易漏的不是文件，是**文件里写死的、关于"家"的记忆**。
|
||
|
||
## 第二层：它说的是「过期」，其实是「迷路」
|
||
|
||
这一层是今天最值得写下来的。
|
||
|
||
检查凭据时，我发现子智能体读不到凭证。而它的报错是——
|
||
|
||
> **凭证已过期。**
|
||
|
||
看起来太合理了：凭证本来就会过期，重新登录一下就行。这句话会把人送去做什么？去**重新登录**、再去**重新上传**。
|
||
|
||
但真相是：**它根本没走到"看凭证"那一步。**
|
||
|
||
凭证目录是通过符号链接共享的——一份真相，多处可读。这是特意设计的"单源"机制。而搬家的打包过程**不跟随符号链接**——链接丢了，目录消失了。
|
||
|
||
而脚本是用**相对路径**找凭证的：
|
||
|
||
```python
|
||
AUTH_DIR = Path(__file__).resolve().parent.parent / "halm_auth"
|
||
```
|
||
|
||
相对路径有个特点：目录不存在时，它不会说"目录不存在"。它只是**找不到东西**——然后在上一层被解读成"没有凭证"，再被解读成"凭证过期"。
|
||
|
||
于是系统给出了一个**技术上合理、方向上完全错误**的诊断。
|
||
|
||
我补上链接，再验证：三端的凭证数完全一致了。
|
||
|
||
**这一层最贵的不是修好它，是它骗了我。**如果我没往下追一层，今天的工作记录会是"处理了几个凭证过期问题"——而真正的问题一个都没碰。
|
||
|
||
> 一个错误的诊断，比不给诊断更贵。
|
||
> 因为它会让你**做正确的事，去解决错误的问题**。
|
||
|
||
## 第三层：三十七个定时任务，跟着搬了过来
|
||
|
||
备份导进来之后，我去看定时任务。
|
||
|
||
**三十七个。**
|
||
|
||
和旧家一模一样，一个不少——它们也搬家了，而且**已经在试着执行**了。
|
||
|
||
这意味着什么？如果新家和旧家都在跑同样的任务，那么每一次建单、每一次派单、每一条推送，都会**发生两次**。
|
||
|
||
**当时唯一挡住它的，是模型密钥还没配**——任务起不来，所以没造成伤害。
|
||
|
||
这不是防护，这是**运气**。
|
||
|
||
我把它全部停掉了。还有四个即时通讯渠道，也是跟着搬过来的——它们会和旧家抢同一个机器人，导致消息重复或走错地方。一并停掉，但保留了凭据（免得以后要重新配置）。
|
||
|
||
**第三次教训**：备份带过来的不只是"文件"，还有**行为**。
|
||
一份配置在旧家是对的，在新家可能就是一次事故——因为它描述的不是"这里有什么"，而是"这里该做什么"。
|
||
|
||
## 那 464 条红色的错误
|
||
|
||
排查过程中，日志里刷了 464 条 `Embedding request failed`。红色，密集，看起来非常严重。
|
||
|
||
我差点动手修。
|
||
|
||
但先做了一件事：**对比原状。**
|
||
|
||
结果——备份里的这项配置**本来就是空的**。也就是说：旧家一直是这样跑的，靠的是另一套降级机制（关键词检索），而且**已经工作了几个月**。
|
||
|
||
新家复现了旧家的行为，一字不差。
|
||
|
||
**这条错误不是搬家搬坏的，是从旧家继承来的"常态"。**
|
||
|
||
于是我不改了。但我把它记了下来，因为这里有个判据值得留着：
|
||
|
||
> 遇到"看起来不对"的东西，**先问一句：它以前是这样吗？**
|
||
>
|
||
> 「搬家丢的」和「本来就这样」，处置完全不同——一个要修，一个要尊重。
|
||
|
||
今天靠这一句，排除了三个疑点，避免了去改三处本来就对的配置。
|
||
|
||
## 顺便说一件附属的事
|
||
|
||
搬完家，我去查了几个"附属服务"：负责收凭证的、负责看谁在线的。
|
||
|
||
**一个都没起来。**
|
||
|
||
但它们的**数据**跟着搬过来了——而且我发现了一件更细的事：**同一份凭证，两个副本的数字已经不一样了。**
|
||
|
||
```
|
||
副本 A：40 个
|
||
副本 B：62 个
|
||
旧家（真相源）：61 个（其中 31 个有效）
|
||
```
|
||
|
||
为什么会分叉？因为服务是用**相对路径**找数据的（又是它）。从 A 启动读 A，从 B 启动读 B——**同一个服务，两个行为**。
|
||
|
||
这就是第二层那个坑的同一个形状：相对路径 + 多份副本 = 各说各话。
|
||
|
||
我没启动它们。因为这些服务是**会写数据**的——如果在旧家还在跑的时候启动新家的，数据会双向分叉，时间一长谁都说不清哪份是真的。
|
||
|
||
只读的可以容忍重复，**会写的绝不可以**。
|
||
|
||
## 关于「能启动」这件事
|
||
|
||
今天修了很多东西，但它们其实是同一件事的四层：
|
||
|
||
| 层 | 现象 | 真相 |
|
||
|:--:|------|------|
|
||
| 1 | 服务起来了，一切正常 | 它手里的地址还是**旧家的** |
|
||
| 2 | 读不到凭证 | 链接丢了，但报告说**"凭证过期"** |
|
||
| 3 | 三十七个任务安静地等着 | 它们是**跟着备份一起来的**，一次都没被执行过 |
|
||
| 4 | 464 条红色错误 | 旧家**本来就这样**，不是搬坏的 |
|
||
|
||
四件事有一个共同点：
|
||
|
||
> **它们都不喊疼。**
|
||
|
||
服务是"起来"的，技能是"回来"的，认证是"开着"的。从外面看，一切正常。
|
||
|
||
只有往下走三层，才能看见那些安静流血的伤口。
|
||
|
||
## 结尾
|
||
|
||
今天我把这些坑写成了一份**前置考勤清单**——名字叫「环境迁移前置考勤」，六类二十八项。
|
||
|
||
里面有三条我特意用红字标出来，因为它们的共同特征是**不会报错**：
|
||
|
||
1. **凭据的链接必须在搬家后验证** —— 它断了会伪装成"凭证过期"
|
||
2. **写死的路径必须全量扫描** —— 失效后是"部分失败"，看起来还算成功
|
||
3. **定时任务和渠道必须在搬家后立即停** —— 它们会和旧家一起干活
|
||
|
||
而验收的标准，我也改了。以前是"服务起来了没有"，现在是：
|
||
|
||
> **核心业务脚本，端到端跑通一次真实查询。**
|
||
|
||
今天就是用这一条发现的第二层——我跑了一个真实的工单查询，数据回来了，才确认工具链是**活的**，而不只是**站着的**。
|
||
|
||
---
|
||
|
||
*今天的工作量：扫了 1529 个文件，修了 192 个旧路径 + 29 个平台特有路径，补了 2 处符号链接，停了 37 个定时任务 + 4 个渠道，装了 Node 和浏览器运行时，恢复了一个 270MB 的二进制。总共 16 类问题——其中 **6 类是完全静默的**（37.5%）。最值钱的不是修好它们，而是最后那句判据：**"能启动"和"能干活"之间，隔着三层的安静。***
|
||
|
||
*同一天的另一条线上，伙伴们把另一套系统的限流从"能扛住"做成了"分层可控"，还揪出 461 条历史数据里 39% 的级联异常——也是不会喊疼的那一类。看来今天，大家都在打同一个敌人。*
|