设备:高通 MSM8916 “UFI103S_V02” 4G 棒(OpenStick 社区固件,Debian 11 + 5.15 自编译内核) 规格:4×A53 @1.2GHz / 461MiB 内存 + 230MiB zram / 3.8G eMMC(rootfs 3.3G) 角色:家用小服务器(HomeServer 方向验证机) 通道:USB(RNDIS)→ OpenWrt(192.168.1.1)桥进 LAN;WiFi 已关闭备用 脱敏说明:文中内网 IP 与 MAC 均已替换为示例占位值,不影响技术复现
TL;DR —— 一天的成果
| 项 | 起点 | 终点 |
|---|---|---|
| SSH 安全 | 全网可密码登录 | 仅密钥;仅 192.168.1.5(USB 通道)保留密码兜底 |
| 死机排查 | 原因不明 | 两次瘫软均定位(OOM + /run/sshd 丢失),均已根治 |
| Docker | v2raya 常驻 + 4 镜像 431MB | 全清,根分区 74%→50% |
| 系统补丁 | 落后 80 个安全更新 | 全部打完(bullseye 最后一批) |
| 网络 | WiFi(不稳、IP 漂移) | USB 主通道,0.5ms,IP/MAC 永久固定 |
| 固件路线 | 不明 | 明确"先备份、推荐刷 maomomo Debian 12" |
一、SSH 加固(密钥优先,USB 兜底)
思路:全局 PasswordAuthentication no,用 Match LocalAddress <USB口IP> 单独放行密码登录——兜底通道绑定"连接到达的本地地址"而不是来源 IP,防伪造。
PasswordAuthentication no
KbdInteractiveAuthentication no # 老 OpenSSH 叫 ChallengeResponseAuthentication
Match LocalAddress 192.168.1.5
PasswordAuthentication yes
踩坑:
- OpenSSH 8.4 不认识
KbdInteractiveAuthentication(8.7 才改名),要用ChallengeResponseAuthentication; sshd -T -C模拟时本地地址参数是laddr=不是localaddr=;- 这台机器 sshd 是 systemd socket 激活(
ssh.socket+ 每连接一个ssh@.service实例):没有常驻主进程,改配置无需 reload,新连接自动生效,也不存在"改配置断连接"的风险(后文这个特性救了命,也埋了坑)。
二、第一次死机:OOM(ZCode 远程 + Docker 叠加)
现象:整机失去响应,断电重启才恢复。
排查路径:journalctl --list-boots → 上一次运行的 journal 最后一行是 dockerd invoked oom-killer(20:30:58),后续报告没写完 = journald 自己也被杀。461MiB 内存跑着 dockerd(75M)+containerd(31M)+v2raya(34M),再用 ZCode 通过 SSH 远程装了 333MB 的 Node 服务端上去跑——直接爆。
处置:清空 Docker(容器/镜像/卷/宿主机 /etc/v2raya);删除 /root/.zcode。
教训:
- 461MiB 的设备别装远程 Agent/语言服务,正确姿势是 Agent 跑在 PC 上 SSH 过来(本笔记就是这么做出来的);
- OOM 的证据在 journal 里非常直白(
invoked oom-killer),先翻上一次启动的日志尾部。
三、温度检查(外壳已装)
温度阈值:75°C 开始降频(passive),110°C 强制关机(critical)。空闲 46-49°C,正常摸着烫(金属外壳即散热器,40°C+ 就会觉得热)。
教训:摸着烫 ≠ 过热降频,直接看 /sys/class/thermal/thermal_zone*/temp(÷1000=℃)。这台的温控兜底是硬件级的,不会"热到悄悄挂死"。
四、系统升级(bullseye 最后的晚餐)
背景:Debian 11 于 2026-08-31 结束 LTS,这批 80 个安全补丁是它最后一批(openssh u3→u7、openssl u1→u8、glibc、PAM、ca-certificates 2021→2025 等)。
踩坑三连:
bullseye-backports源已 404(随 EOL 移出镜像)→ 注释掉;- 阿里云/清华/中科大的
bullseye-security池都缺文件(上游清理后镜像没跟上)→ 安全源切到archive.debian.org,并加[check-valid-until=no](它的 Release 文件已过期); --force-confok是我编造的选项,dpkg 报"无法识别"直接失败 → 正确写法是--force-confdef --force-confold(保留本地改过的配置,如我们的 sshd_config)。
验证:内核是刷机镜像的定制内核,不在 apt 列表里,无升级变砖风险;升级后 0 个包待升级。
五、升级后第二次瘫软:不是 OOM,是 /run/sshd 丢了
现象:升级成功完成后 SSH 立刻全断(TCP 通、kex 阶段被 reset),ping 能通但 150ms,唯一管理通道=坏掉的服务。我第一反应"又 OOM 了"——误诊。
真相(瘫软启动的 journal 铁证):
21:05:34 ssh.socket: Succeeded ← openssh 升级收尾重启了 socket
21:07:27 最后一条会话正常退出
21:07:36 sshd: fatal: Missing privilege separation directory: /run/sshd
21:07:45 ...(每个新连接的 sshd 出生即死)
系统其余部分全程健康(DHCP 续租、日志都在写)。根因:升级重启 ssh 相关单元的过渡窗口里,/run/sshd(tmpfs,RuntimeDirectory 管理)被带走,而 socket 激活模式下没有 ssh.service 的 ExecStartPre 来重建它。
加固:/etc/systemd/system/ssh@.service.d/override.conf 给每个连接实例加 ExecStartPre=/usr/bin/install -m 0755 -o root -g root -d /run/sshd,永不复发。
教训:
- “连不上”≠“死机”,先看 ping/ICMP 是否还活、活得多快;慢而活=资源饥饿,通而拒=服务层问题;
- 这次的教训链:诊断要跟着证据走,我拿着"下午 OOM 过"的旧地图走了一段弯路,还道了歉——复盘时这种"模式匹配式误诊"最值得警惕;
- 单管理通道是单点故障。本次如果有 USB 直连或串口,一条
mkdir /run/sshd就能救。
六、迁移 USB 主通道(OpenWrt RNDIS 桥接)
架构:
PC ──局域网── OpenWrt(192.168.1.1) ──USB-A── 棒子 usb0
br-lan 桥入 usb0 DHCP 客户端
步骤:
- OpenWrt:
opkg install kmod-usb-net-rndis,把 usb0 桥进 br-lan(DSA:uci add_list network.@device[0].ports='usb0'); - 棒子:
nmcli con mod usb1 ipv4.method auto(从 shared 模式改为 DHCP 客户端,shared 的 dnsmasq/NAT 随之消失); - WiFi 分步关闭:
autoconnect no+ disconnect → 验证 → 压测通过后才nmcli radio wifi off。
踩坑:
- 改完
usb1后执行nmcli dev connect usb0,NetworkManager 无视我改好的配置、现场生成了一个 shared 模式的野连接(usb0 变成 10.42.0.1 又当起了 DHCP 服务器)→ 删野连接、明确nmcli con up usb1才对; - 通道切换期间必须保留 WiFi 当救援通道,全链路验证后再关。
成果:USB 链路 0.5ms、满载 15 分钟 0% 丢包;棒子经路由器 NAT 出网正常。
七、MAC 固定战役(今天最曲折的一段)
问题:重启后 MAC 每次都变 → 路由器静态绑定永远追不上。
根因:/usr/sbin/mobian-usb-gadget 用 gc 工具创建 RNDIS 功能时从不指定 MAC,内核每次 USB 枚举随机生成。
三次尝试:
- 在
gc -a rndis之后写 configfs 的 dev_addr/host_addr → I/O error。内核规则:功能一旦链接进配置(refcnt>0)就锁定,唯一可写时机是 mkdir 之后、链接之前; - 退而求其次:NetworkManager
cloned-mac-address=AA:BB:CC:DD:EE:01(网络层固定,每次激活生效)→ 立竿见影,路由器看到稳定 MAC; - 终极方案(用户要求 gadget 层也修好):重写 mobian-usb-gadget 为全手工 configfs——照抄原 gadget 全部参数(VID/PID、字符串、c1.1 配置、MSFT100 OS 描述符、ADB ffs),在功能刚创建时写入 MAC。手术时用
systemd-run --on-active=240挂了自愈定时器(连不上就自动还原旧脚本),成功后撤销。
DHCP 侧还有一坑:NM 默认发 DUID 型 client-id,dnsmasq 见到 client-id 就按它记账,按 MAC 配的静态租约匹配不上 → nmcli con mod usb1 ipv4.dhcp-client-id mac。
MAC 地址说明:dev_addr(…EE:01)是棒子网卡的 MAC,局域网/DHCP 看到的是它,绑定用它;host_addr(…EE:02)是路由器侧虚拟网卡的 MAC,DHCP 里用不到。(我一开始说反了,向用户道过歉——复盘标记:跨层概念要验证后再出口。)
最终:OpenWrt 静态租约 AA:BB:CC:DD:EE:01 → 192.168.1.5,重启实测 MAC/IP 双稳定。
八、满载压测结论(外壳装回状态)
- 4 核 100% 满载:75 秒从 46°C 冲到 75°C 降频线 → 温控把频率从 1209MHz 逐级压到 400MHz,温度钉在 74-75°C;
- 停测 40 秒回落到 ~60°C;
- 路由器 USB 3.0 单线供电(900mA)扛过了 15 分钟满载(含最高频阶段),无重启;
- 满载期间 USB 链路 0% 丢包、0-1ms。
定位结论:轻负载家用服务器没问题;持续重计算会以 1/3 频率运行(散热外形决定,无解,属预期)。
(60%→100% 每 5% 一档的爬坡数据见文末附录。)
九、固件调研结论(后台 agent 完成)
- 现系统:OpenStick 社区 2022 世代(jsbsbxjxh66 内核),官方项目 2022 年停更;
- 推荐:maomomo-eth/ufi103s-debian v2.2.0(2026-09,UFI103S V02 实测、Debian 12、可走"只刷 boot+rootfs 不动分区表"低风险路径);
- 进阶:kinsamanka/OpenStick-Builder(pmOS 6.12 LTS 内核 + Debian 13,需重写 GPT,风险高);
- 不推荐:各 msm8916 OpenWrt 移植(无 UFI103S 官方支持);
- 刷机前必做:bkerler/edl 走 9008 模式全盘备份(
edl rf full-backup.bin+ 逐分区;fsc/fsg/modemst1/2 只能回刷本机;rootfs 备份里的 modem 固件是唯一副本)。
十、踩坑总账(速查)
| # | 坑 | 一句话解法 |
|---|---|---|
| 1 | 461MiB 设备跑远程 Agent → OOM | Agent 在 PC 上,设备只收 SSH 命令 |
| 2 | KbdInteractiveAuthentication 老内核不认 | ≤8.6 用 ChallengeResponseAuthentication |
| 3 | bullseye-security 国内镜像缺包 | 切 archive.debian.org + check-valid-until=no |
| 4 | dpkg 无 --force-confok | --force-confdef --force-confold |
| 5 | 升级 openssh 后 SSH 全断 | /run/sshd 丢失;ssh@.service 加 ExecStartPre 自建目录 |
| 6 | “连不上"误诊为 OOM | 先分清"死机/资源饿/服务坏”,journal 会说话 |
| 7 | nmcli dev connect 生成 shared 野连接 | 删野连接,显式 nmcli con up usb1 |
| 8 | RNDIS MAC 每次重启随机 | gadget 脚本在功能 mkdir 后、链接前写 dev_addr |
| 9 | 静态租约绑定不上 | NM 发 DUID client-id 干扰 → ipv4.dhcp-client-id mac |
| 10 | 绑定 MAC 填了 host_addr | DHCP 看到的是 dev_addr(…EE:01) |
| 11 | 无 RTC 电池,断电时钟乱跳 | journal 的 boot 分段不可信,按内容全文搜 |
| 12 | cmd→ssh 多层引号地狱 | 远程命令里不写双引号、$var 不加反斜杠 |
| 13 | RNDIS gadget 撑不过宿主机异常复位,边沿触发无人重试(10-06 断联 8h) | 棒子侧 watchdog:重跑 gadget setup 重绑 UDC → 无效则重启(§13.3) |
| 14 | Docker Hub 直连超时(拉镜像 17KB/s 级) | daemon.json 配 daocloud(实测快)+1ms.run 备用 |
十一、当前状态快照
- 系统:Debian 11(补丁打满,EOL)/内核 5.15.0-jsbsbxjxh66+
- 网络:USB RNDIS → OpenWrt br-lan,IP 192.168.1.5(静态租约),MAC AA:BB:CC:DD:EE:01(gadget 原生+NM 双固定),默认路由 metric 100,WiFi radio off
- SSH:仅密钥;192.168.1.5 可密码兜底(root 密码已设)
- 磁盘:根分区 3.3G 用 50%|内存:可用 ~335MiB|swap:zram 230M
- 温度:空闲 46-49°C;75°C 降频线
- 备份:
/etc/ssh/sshd_config.bak-20261005、/usr/sbin/mobian-usb-gadget.bak、/root/usb1-nm-backup.txt(迁移前 NM 配置)
十二、待办
- 9008 全盘备份(刷任何东西之前,两处异地存放);
- 择机刷 maomomo Debian 12(低风险原地路径);
- 长期:关注 OpenStick-Builder 的 UFI103S DTB 支持;
- 供电余量:目前单线 900mA 撑住了满载,如以后加 4G modem 业务,考虑 Y 线/带供电 HUB;
- qiandao 上线三步(§13.1):填 config.yaml 站点/收件人 → 填 msmtprc SMTP 授权码 → run.sh 改 MAIL_FROM 重建容器;切换前先停 PVE 旧实例防双重签到;
- 观察 usb0-watchdog 阈值(§13.3):若 CPE 正常重启/升级触发误动作,调大载波丢失重启档或网关失联档。
附录:60%→100% 负载爬坡测试(23:42–00:23,外壳装回)
方法:stress-ng --cpu-load N(4 worker),逐档 60→100%(步进 5%);每档先静置 30 秒取基准温度,加载后 1 秒采样,CPU 双传感器取高值;温度首次 ≥75.0°C 记"触线用时"(精度 ±1s);停测后测回落至"该档基准+1°C"的用时(上限 300 秒)。
| 负载 | 基准°C | 触线用时(s) | 停测回落用时(s) | 300s 末温度°C |
|---|---|---|---|---|
| 60% | 42 | 165 | 300s 未回到基准(停在 46°C,差 3°C) | 46 |
| 65% | 45 | 107 | 280 | 46 |
| 70% | 46 | 80 | 210 | 47 |
| 75% | 47 | 73 | 165 | 48 |
| 80% | 48 | 50 | 128 | 49 |
| 85% | 48 | 48 | 136 | 49 |
| 90% | 48 | 37 | 122 | 49 |
| 95% | 48 | 43 | 103 | 49 |
| 100% | 48 | 40 | 105 | 49 |
结论:
- 60% 起全部触线——这块被动散热的小机身,任何 ≥2.4 核的持续负载最终都会被压到降频线,无一档能长期稳态运行;负载越高触线越快:60% 时 165 秒、100% 时 40 秒;
- 触线后温控介入(cooling state 1,频率 400-800MHz),温度钉在 75°C;持续满载 15 分钟的深测中会被压到最低档 400MHz;
- 停测回落快:105-210 秒回到"基准+1°C"(约 1.7-3.5 分钟);
- 注意:60% 档 300 秒未回到 42°C 基准——该基准取自测试刚开始时的冷机状态,低于外壳热饱和后的真实空闲平衡(≈46°C),属测量方法学边界而非异常。
方法学备注(影响精度解读):逐档升序 + 档间仅 30 秒静置,机壳逐档蓄热使基准从 42°C 爬到 48°C,后半程触线时间部分受益于更热的起点;若要严格对比各档,需每档冷机到同一基准再测(代价是总时长翻几倍)。90%/95% 的 37s/43s 倒挂即此噪声。趋势与量级可靠。
十三、补记(2026-10-06 ~ 10-08):qiandao 容器化上线、首次生产断联 RCA 与链路自愈
13.1 qiandao 签到系统 Docker 化部署(10-06)
PVE LXC 同款系统(v1.1.1,源码 gary/qiandao-src,文档基线 gary/qiandao)容器化落地。业务代码零改动,三件套对应关系:
| LXC 原设计 | 容器方案 | 说明 |
|---|---|---|
| systemd timer(整点拉起 + Persistent 补跑) | entrypoint 整点循环 + 启动补跑(sleep 30 等时钟/网络就绪) | gating 语义不变 |
| postfix smarthost + sender_canonical | msmtp 中继 + From 头改写包装脚本 | 利用 QIANDAO_SENDMAIL 覆盖钩子 |
| qiandao-web.socket 按需激活 | 常驻 qiandao-web 进程 | host 网络直绑 192.168.1.50:8088 |
- 镜像
qiandao:1.1.1(python:3.11-slim arm64,设备本机构建),实测 32.7MiB / 200MiB 上限,磁盘 59%(余 1.3G);--restart unless-stopped开机自起 - 文件:
/opt/qiandao-docker/(Dockerfile / entrypoint / run.sh /runtime/{config,state,logs});源码/opt/qiandao-src(HTTP 匿名克隆自 Gitea) - Web 初始口令仅
docker logs提示一次;模板站点默认enabled: false——与 PVE 生产实例不会双重签到 - 上线三步见第十二章待办 #5;容器内验证:dry-run 全绿、Web 面板局域网可达
13.2 10-06 凌晨断联 8 小时 RCA(根因在 CPE,不在棒子)
时间线(棒子 journal ↔ CPE dmesg 双向交叉验证,秒级闭环):
| 时刻 | 事件 |
|---|---|
| 01:25:14–16 | 棒子 usb0 载波丢失(掉→回 1 秒→再掉),NetworkManager 标记 unavailable |
| 01:25:57 | CPE(USB 宿主机)意外重启(其 uptime 倒推;非周日 05:00 计划重启;OOM 排除) |
| 01:25:59 | CPE 复位后枚举棒子失败:1-1.4 USB disconnect(dmesg [1.94s])——gadget 被宿主机骤死留在坏状态 |
| 01:26–09:41 | 双方都活着、链路黑死 8 小时:USB 接入是边沿触发,宿主机与设备两侧都不会自动重试;期间棒子系统全程健康(apt-daily 照跑、无 OOM/panic) |
| 09:41:55 | 手动断电棒子 → 干净枚举 rndis_host usb0(CPE dmesg [29758s],与棒子自身 boot 时刻秒级吻合) |
结论:RNDIS gadget 无法在宿主机异常复位后自行恢复(configfs/UDC 状态机卡死,且无链路监控拉一把)。CPE 自身为何挂死未定案(当时日志已被 128K 环形缓冲冲掉;无 watchdog 驱动注册记录;候选:电源抖动/内核 panic 自复位),已在其侧部署持久日志等下次留证——详见《CPE折腾复盘-2026-10-08.md》。
13.3 usb0 链路自愈 watchdog(10-08 部署)
/usr/local/bin/usb0-watchdog.sh + usb0-watchdog.timer(每 2 分钟,OnBootSec=3min):
- 健康(载波在且网关可 ping)→ 静默清零,零日志;
- 载波丢失:第 3 轮(≈6 分钟)→ 重跑
mobian-usb-gadget setup(UDC unbind/bind 制造新的电气接入事件——比断电温柔的等效手段,脚本自带 teardown 幂等);第 6 轮(≈12 分钟)仍无好转 → 重启整机(10-06 实证的终极手段); - 载波正常但网关失联:第 15 轮(≈30 分钟)才重启——防 CPE 正常重启/升级时误动作;
- 两次自动重启间隔 ≥30 分钟:防 CPE 长时间宕机时棒子陷入重启循环;
- 状态目录
/var/lib/usb0-watchdog/;日志journalctl -t usb0-watchdog;手动停用systemctl stop usb0-watchdog.timer。