设备:高通 MSM8916 “UFI103S_V02” 4G 棒(OpenStick 社区固件,Debian 11 + 5.15 自编译内核) 规格:4×A53 @1.2GHz / 461MiB 内存 + 230MiB zram / 3.8G eMMC(rootfs 3.3G) 角色:家用小服务器(HomeServer 方向验证机) 通道:USB(RNDIS)→ OpenWrt(192.168.1.1)桥进 LAN;WiFi 已关闭备用 脱敏说明:文中内网 IP 与 MAC 均已替换为示例占位值,不影响技术复现

TL;DR —— 一天的成果

项起点终点
SSH 安全全网可密码登录仅密钥;仅 192.168.1.5(USB 通道)保留密码兜底
死机排查原因不明两次瘫软均定位(OOM + /run/sshd 丢失),均已根治
Dockerv2raya 常驻 + 4 镜像 431MB全清,根分区 74%→50%
系统补丁落后 80 个安全更新全部打完(bullseye 最后一批)
网络WiFi(不稳、IP 漂移)USB 主通道,0.5ms,IP/MAC 永久固定
固件路线不明明确"先备份、推荐刷 maomomo Debian 12"

一、SSH 加固(密钥优先,USB 兜底)

思路:全局 PasswordAuthentication no,用 Match LocalAddress <USB口IP> 单独放行密码登录——兜底通道绑定"连接到达的本地地址"而不是来源 IP,防伪造。

PasswordAuthentication no
KbdInteractiveAuthentication no   # 老 OpenSSH 叫 ChallengeResponseAuthentication

Match LocalAddress 192.168.1.5
    PasswordAuthentication yes

踩坑:

  • OpenSSH 8.4 不认识 KbdInteractiveAuthentication(8.7 才改名),要用 ChallengeResponseAuthentication;
  • sshd -T -C 模拟时本地地址参数是 laddr= 不是 localaddr=;
  • 这台机器 sshd 是 systemd socket 激活(ssh.socket + 每连接一个 ssh@.service 实例):没有常驻主进程,改配置无需 reload,新连接自动生效,也不存在"改配置断连接"的风险(后文这个特性救了命,也埋了坑)。

二、第一次死机:OOM(ZCode 远程 + Docker 叠加)

现象:整机失去响应,断电重启才恢复。

排查路径:journalctl --list-boots → 上一次运行的 journal 最后一行是 dockerd invoked oom-killer(20:30:58),后续报告没写完 = journald 自己也被杀。461MiB 内存跑着 dockerd(75M)+containerd(31M)+v2raya(34M),再用 ZCode 通过 SSH 远程装了 333MB 的 Node 服务端上去跑——直接爆。

处置:清空 Docker(容器/镜像/卷/宿主机 /etc/v2raya);删除 /root/.zcode。

教训:

  • 461MiB 的设备别装远程 Agent/语言服务,正确姿势是 Agent 跑在 PC 上 SSH 过来(本笔记就是这么做出来的);
  • OOM 的证据在 journal 里非常直白(invoked oom-killer),先翻上一次启动的日志尾部。

三、温度检查(外壳已装)

温度阈值:75°C 开始降频(passive),110°C 强制关机(critical)。空闲 46-49°C,正常摸着烫(金属外壳即散热器,40°C+ 就会觉得热)。

教训:摸着烫 ≠ 过热降频,直接看 /sys/class/thermal/thermal_zone*/temp(÷1000=℃)。这台的温控兜底是硬件级的,不会"热到悄悄挂死"。

四、系统升级(bullseye 最后的晚餐)

背景:Debian 11 于 2026-08-31 结束 LTS,这批 80 个安全补丁是它最后一批(openssh u3→u7、openssl u1→u8、glibc、PAM、ca-certificates 2021→2025 等)。

踩坑三连:

  1. bullseye-backports 源已 404(随 EOL 移出镜像)→ 注释掉;
  2. 阿里云/清华/中科大的 bullseye-security 池都缺文件(上游清理后镜像没跟上)→ 安全源切到 archive.debian.org,并加 [check-valid-until=no](它的 Release 文件已过期);
  3. --force-confok 是我编造的选项,dpkg 报"无法识别"直接失败 → 正确写法是 --force-confdef --force-confold(保留本地改过的配置,如我们的 sshd_config)。

验证:内核是刷机镜像的定制内核,不在 apt 列表里,无升级变砖风险;升级后 0 个包待升级。

五、升级后第二次瘫软:不是 OOM,是 /run/sshd 丢了

现象:升级成功完成后 SSH 立刻全断(TCP 通、kex 阶段被 reset),ping 能通但 150ms,唯一管理通道=坏掉的服务。我第一反应"又 OOM 了"——误诊。

真相(瘫软启动的 journal 铁证):

21:05:34 ssh.socket: Succeeded          ← openssh 升级收尾重启了 socket
21:07:27 最后一条会话正常退出
21:07:36 sshd: fatal: Missing privilege separation directory: /run/sshd
21:07:45 ...(每个新连接的 sshd 出生即死)

系统其余部分全程健康(DHCP 续租、日志都在写)。根因:升级重启 ssh 相关单元的过渡窗口里,/run/sshd(tmpfs,RuntimeDirectory 管理)被带走,而 socket 激活模式下没有 ssh.service 的 ExecStartPre 来重建它。

加固:/etc/systemd/system/ssh@.service.d/override.conf 给每个连接实例加 ExecStartPre=/usr/bin/install -m 0755 -o root -g root -d /run/sshd,永不复发。

教训:

  • “连不上”≠“死机”,先看 ping/ICMP 是否还活、活得多快;慢而活=资源饥饿,通而拒=服务层问题;
  • 这次的教训链:诊断要跟着证据走,我拿着"下午 OOM 过"的旧地图走了一段弯路,还道了歉——复盘时这种"模式匹配式误诊"最值得警惕;
  • 单管理通道是单点故障。本次如果有 USB 直连或串口,一条 mkdir /run/sshd 就能救。

六、迁移 USB 主通道(OpenWrt RNDIS 桥接)

架构:

PC ──局域网── OpenWrt(192.168.1.1) ──USB-A── 棒子 usb0
                br-lan 桥入 usb0            DHCP 客户端

步骤:

  1. OpenWrt:opkg install kmod-usb-net-rndis,把 usb0 桥进 br-lan(DSA:uci add_list network.@device[0].ports='usb0');
  2. 棒子:nmcli con mod usb1 ipv4.method auto(从 shared 模式改为 DHCP 客户端,shared 的 dnsmasq/NAT 随之消失);
  3. WiFi 分步关闭:autoconnect no + disconnect → 验证 → 压测通过后才 nmcli radio wifi off。

踩坑:

  • 改完 usb1 后执行 nmcli dev connect usb0,NetworkManager 无视我改好的配置、现场生成了一个 shared 模式的野连接(usb0 变成 10.42.0.1 又当起了 DHCP 服务器)→ 删野连接、明确 nmcli con up usb1 才对;
  • 通道切换期间必须保留 WiFi 当救援通道,全链路验证后再关。

成果:USB 链路 0.5ms、满载 15 分钟 0% 丢包;棒子经路由器 NAT 出网正常。

七、MAC 固定战役(今天最曲折的一段)

问题:重启后 MAC 每次都变 → 路由器静态绑定永远追不上。

根因:/usr/sbin/mobian-usb-gadget 用 gc 工具创建 RNDIS 功能时从不指定 MAC,内核每次 USB 枚举随机生成。

三次尝试:

  1. 在 gc -a rndis 之后写 configfs 的 dev_addr/host_addr → I/O error。内核规则:功能一旦链接进配置(refcnt>0)就锁定,唯一可写时机是 mkdir 之后、链接之前;
  2. 退而求其次:NetworkManager cloned-mac-address=AA:BB:CC:DD:EE:01(网络层固定,每次激活生效)→ 立竿见影,路由器看到稳定 MAC;
  3. 终极方案(用户要求 gadget 层也修好):重写 mobian-usb-gadget 为全手工 configfs——照抄原 gadget 全部参数(VID/PID、字符串、c1.1 配置、MSFT100 OS 描述符、ADB ffs),在功能刚创建时写入 MAC。手术时用 systemd-run --on-active=240 挂了自愈定时器(连不上就自动还原旧脚本),成功后撤销。

DHCP 侧还有一坑:NM 默认发 DUID 型 client-id,dnsmasq 见到 client-id 就按它记账,按 MAC 配的静态租约匹配不上 → nmcli con mod usb1 ipv4.dhcp-client-id mac。

MAC 地址说明:dev_addr(…EE:01)是棒子网卡的 MAC,局域网/DHCP 看到的是它,绑定用它;host_addr(…EE:02)是路由器侧虚拟网卡的 MAC,DHCP 里用不到。(我一开始说反了,向用户道过歉——复盘标记:跨层概念要验证后再出口。)

最终:OpenWrt 静态租约 AA:BB:CC:DD:EE:01 → 192.168.1.5,重启实测 MAC/IP 双稳定。

八、满载压测结论(外壳装回状态)

  • 4 核 100% 满载:75 秒从 46°C 冲到 75°C 降频线 → 温控把频率从 1209MHz 逐级压到 400MHz,温度钉在 74-75°C;
  • 停测 40 秒回落到 ~60°C;
  • 路由器 USB 3.0 单线供电(900mA)扛过了 15 分钟满载(含最高频阶段),无重启;
  • 满载期间 USB 链路 0% 丢包、0-1ms。

定位结论:轻负载家用服务器没问题;持续重计算会以 1/3 频率运行(散热外形决定,无解,属预期)。

(60%→100% 每 5% 一档的爬坡数据见文末附录。)

九、固件调研结论(后台 agent 完成)

  • 现系统:OpenStick 社区 2022 世代(jsbsbxjxh66 内核),官方项目 2022 年停更;
  • 推荐:maomomo-eth/ufi103s-debian v2.2.0(2026-09,UFI103S V02 实测、Debian 12、可走"只刷 boot+rootfs 不动分区表"低风险路径);
  • 进阶:kinsamanka/OpenStick-Builder(pmOS 6.12 LTS 内核 + Debian 13,需重写 GPT,风险高);
  • 不推荐:各 msm8916 OpenWrt 移植(无 UFI103S 官方支持);
  • 刷机前必做:bkerler/edl 走 9008 模式全盘备份(edl rf full-backup.bin + 逐分区;fsc/fsg/modemst1/2 只能回刷本机;rootfs 备份里的 modem 固件是唯一副本)。

十、踩坑总账(速查)

#坑一句话解法
1461MiB 设备跑远程 Agent → OOMAgent 在 PC 上,设备只收 SSH 命令
2KbdInteractiveAuthentication 老内核不认≤8.6 用 ChallengeResponseAuthentication
3bullseye-security 国内镜像缺包切 archive.debian.org + check-valid-until=no
4dpkg 无 --force-confok--force-confdef --force-confold
5升级 openssh 后 SSH 全断/run/sshd 丢失;ssh@.service 加 ExecStartPre 自建目录
6“连不上"误诊为 OOM先分清"死机/资源饿/服务坏”,journal 会说话
7nmcli dev connect 生成 shared 野连接删野连接,显式 nmcli con up usb1
8RNDIS MAC 每次重启随机gadget 脚本在功能 mkdir 后、链接前写 dev_addr
9静态租约绑定不上NM 发 DUID client-id 干扰 → ipv4.dhcp-client-id mac
10绑定 MAC 填了 host_addrDHCP 看到的是 dev_addr(…EE:01)
11无 RTC 电池,断电时钟乱跳journal 的 boot 分段不可信,按内容全文搜
12cmd→ssh 多层引号地狱远程命令里不写双引号、$var 不加反斜杠
13RNDIS gadget 撑不过宿主机异常复位,边沿触发无人重试(10-06 断联 8h)棒子侧 watchdog:重跑 gadget setup 重绑 UDC → 无效则重启(§13.3)
14Docker Hub 直连超时(拉镜像 17KB/s 级)daemon.json 配 daocloud(实测快)+1ms.run 备用

十一、当前状态快照

  • 系统:Debian 11(补丁打满,EOL)/内核 5.15.0-jsbsbxjxh66+
  • 网络:USB RNDIS → OpenWrt br-lan,IP 192.168.1.5(静态租约),MAC AA:BB:CC:DD:EE:01(gadget 原生+NM 双固定),默认路由 metric 100,WiFi radio off
  • SSH:仅密钥;192.168.1.5 可密码兜底(root 密码已设)
  • 磁盘:根分区 3.3G 用 50%|内存:可用 ~335MiB|swap:zram 230M
  • 温度:空闲 46-49°C;75°C 降频线
  • 备份:/etc/ssh/sshd_config.bak-20261005、/usr/sbin/mobian-usb-gadget.bak、/root/usb1-nm-backup.txt(迁移前 NM 配置)

十二、待办

  1. 9008 全盘备份(刷任何东西之前,两处异地存放);
  2. 择机刷 maomomo Debian 12(低风险原地路径);
  3. 长期:关注 OpenStick-Builder 的 UFI103S DTB 支持;
  4. 供电余量:目前单线 900mA 撑住了满载,如以后加 4G modem 业务,考虑 Y 线/带供电 HUB;
  5. qiandao 上线三步(§13.1):填 config.yaml 站点/收件人 → 填 msmtprc SMTP 授权码 → run.sh 改 MAIL_FROM 重建容器;切换前先停 PVE 旧实例防双重签到;
  6. 观察 usb0-watchdog 阈值(§13.3):若 CPE 正常重启/升级触发误动作,调大载波丢失重启档或网关失联档。

附录:60%→100% 负载爬坡测试(23:42–00:23,外壳装回)

方法:stress-ng --cpu-load N(4 worker),逐档 60→100%(步进 5%);每档先静置 30 秒取基准温度,加载后 1 秒采样,CPU 双传感器取高值;温度首次 ≥75.0°C 记"触线用时"(精度 ±1s);停测后测回落至"该档基准+1°C"的用时(上限 300 秒)。

负载基准°C触线用时(s)停测回落用时(s)300s 末温度°C
60%42165300s 未回到基准(停在 46°C,差 3°C)46
65%4510728046
70%468021047
75%477316548
80%485012849
85%484813649
90%483712249
95%484310349
100%484010549

结论:

  1. 60% 起全部触线——这块被动散热的小机身,任何 ≥2.4 核的持续负载最终都会被压到降频线,无一档能长期稳态运行;负载越高触线越快:60% 时 165 秒、100% 时 40 秒;
  2. 触线后温控介入(cooling state 1,频率 400-800MHz),温度钉在 75°C;持续满载 15 分钟的深测中会被压到最低档 400MHz;
  3. 停测回落快:105-210 秒回到"基准+1°C"(约 1.7-3.5 分钟);
  4. 注意:60% 档 300 秒未回到 42°C 基准——该基准取自测试刚开始时的冷机状态,低于外壳热饱和后的真实空闲平衡(≈46°C),属测量方法学边界而非异常。

方法学备注(影响精度解读):逐档升序 + 档间仅 30 秒静置,机壳逐档蓄热使基准从 42°C 爬到 48°C,后半程触线时间部分受益于更热的起点;若要严格对比各档,需每档冷机到同一基准再测(代价是总时长翻几倍)。90%/95% 的 37s/43s 倒挂即此噪声。趋势与量级可靠。


十三、补记(2026-10-06 ~ 10-08):qiandao 容器化上线、首次生产断联 RCA 与链路自愈

13.1 qiandao 签到系统 Docker 化部署(10-06)

PVE LXC 同款系统(v1.1.1,源码 gary/qiandao-src,文档基线 gary/qiandao)容器化落地。业务代码零改动,三件套对应关系:

LXC 原设计容器方案说明
systemd timer(整点拉起 + Persistent 补跑)entrypoint 整点循环 + 启动补跑(sleep 30 等时钟/网络就绪)gating 语义不变
postfix smarthost + sender_canonicalmsmtp 中继 + From 头改写包装脚本利用 QIANDAO_SENDMAIL 覆盖钩子
qiandao-web.socket 按需激活常驻 qiandao-web 进程host 网络直绑 192.168.1.50:8088
  • 镜像 qiandao:1.1.1(python:3.11-slim arm64,设备本机构建),实测 32.7MiB / 200MiB 上限,磁盘 59%(余 1.3G);--restart unless-stopped 开机自起
  • 文件:/opt/qiandao-docker/(Dockerfile / entrypoint / run.sh / runtime/{config,state,logs});源码 /opt/qiandao-src(HTTP 匿名克隆自 Gitea)
  • Web 初始口令仅 docker logs 提示一次;模板站点默认 enabled: false——与 PVE 生产实例不会双重签到
  • 上线三步见第十二章待办 #5;容器内验证:dry-run 全绿、Web 面板局域网可达

13.2 10-06 凌晨断联 8 小时 RCA(根因在 CPE,不在棒子)

时间线(棒子 journal ↔ CPE dmesg 双向交叉验证,秒级闭环):

时刻事件
01:25:14–16棒子 usb0 载波丢失(掉→回 1 秒→再掉),NetworkManager 标记 unavailable
01:25:57CPE(USB 宿主机)意外重启(其 uptime 倒推;非周日 05:00 计划重启;OOM 排除)
01:25:59CPE 复位后枚举棒子失败:1-1.4 USB disconnect(dmesg [1.94s])——gadget 被宿主机骤死留在坏状态
01:26–09:41双方都活着、链路黑死 8 小时:USB 接入是边沿触发,宿主机与设备两侧都不会自动重试;期间棒子系统全程健康(apt-daily 照跑、无 OOM/panic)
09:41:55手动断电棒子 → 干净枚举 rndis_host usb0(CPE dmesg [29758s],与棒子自身 boot 时刻秒级吻合)

结论:RNDIS gadget 无法在宿主机异常复位后自行恢复(configfs/UDC 状态机卡死,且无链路监控拉一把)。CPE 自身为何挂死未定案(当时日志已被 128K 环形缓冲冲掉;无 watchdog 驱动注册记录;候选:电源抖动/内核 panic 自复位),已在其侧部署持久日志等下次留证——详见《CPE折腾复盘-2026-10-08.md》。

13.3 usb0 链路自愈 watchdog(10-08 部署)

/usr/local/bin/usb0-watchdog.sh + usb0-watchdog.timer(每 2 分钟,OnBootSec=3min):

  • 健康(载波在且网关可 ping)→ 静默清零,零日志;
  • 载波丢失:第 3 轮(≈6 分钟)→ 重跑 mobian-usb-gadget setup(UDC unbind/bind 制造新的电气接入事件——比断电温柔的等效手段,脚本自带 teardown 幂等);第 6 轮(≈12 分钟)仍无好转 → 重启整机(10-06 实证的终极手段);
  • 载波正常但网关失联:第 15 轮(≈30 分钟)才重启——防 CPE 正常重启/升级时误动作;
  • 两次自动重启间隔 ≥30 分钟:防 CPE 长时间宕机时棒子陷入重启循环;
  • 状态目录 /var/lib/usb0-watchdog/;日志 journalctl -t usb0-watchdog;手动停用 systemctl stop usb0-watchdog.timer。