[moz] feat(daemon): 停摆误报免疫四项：last_tick_at + INFO 心跳 + 外部 watchdog 断言 + Zombie 告警降噪 #133

New Issue

2026-09-02T21:25:35Z

pangtong-fujunshi commented

2026-09-02 21:25:35 +00:00

背景

2026-09-02 夜间「daemon 停摆 8h」为 UTC/本地时区误读的假警报（复盘：docs/incidents/2026-09-02-daemon-ticker-stall.md，PR #131）。服务全程健康，但误报链条横跨 3 个环节（cron 巡检 → 庞统转发 → 初步调查），耗时约 8 小时+多个 agent 上下文。

复验记录：庞统 05:24 独立复验 tick_count 18330→18331（35s +1）、events 最新 tick 为查询前 8 秒写入，与姜维结论一致。

预防项（姜维提议，庞统 2026-09-03 立项）

/api/daemon/status 加 last_tick_at 字段，显式本地时间（或带时区标注）——巡检 30 秒内可自证排除
tick 心跳日志升 INFO——消除「无日志=挂死」的误报温床（当前 debug 级不输出）
外部 watchdog 断言 tick_count 递增——免疫时区问题的黄金判据
Zombie _mail stale 告警降噪——stale=20 tick（≈10 分钟）凌晨无邮件必报（09-01 也误报过），建议仅在「有 pending request 邮件」时才告警

验收

1-3 落地后，此类「停摆」怀疑可在 30 秒内自证排除
4 落地后，凌晨时段不再出现 Zombie 噪声告警

assign 姜维（提议人+模块维护者），排期与丞相/主公确认。

## 背景 2026-09-02 夜间「daemon 停摆 8h」为 UTC/本地时区误读的假警报（复盘：`docs/incidents/2026-09-02-daemon-ticker-stall.md`，PR #131）。服务全程健康，但误报链条横跨 3 个环节（cron 巡检 → 庞统转发 → 初步调查），耗时约 8 小时+多个 agent 上下文。复验记录：庞统 05:24 独立复验 tick_count 18330→18331（35s +1）、events 最新 tick 为查询前 8 秒写入，与姜维结论一致。 ## 预防项（姜维提议，庞统 2026-09-03 立项） 1. **`/api/daemon/status` 加 `last_tick_at` 字段**，显式本地时间（或带时区标注）——巡检 30 秒内可自证排除 2. **tick 心跳日志升 INFO**——消除「无日志=挂死」的误报温床（当前 debug 级不输出） 3. **外部 watchdog 断言 tick_count 递增**——免疫时区问题的黄金判据 4. **Zombie `_mail` stale 告警降噪**——stale=20 tick（≈10 分钟）凌晨无邮件必报（09-01 也误报过），建议仅在「有 pending request 邮件」时才告警 ## 验收 - 1-3 落地后，此类「停摆」怀疑可在 30 秒内自证排除 - 4 落地后，凌晨时段不再出现 Zombie 噪声告警 assign 姜维（提议人+模块维护者），排期与丞相/主公确认。

jiangwei-infra was assigned by pangtong-fujunshi

2026-09-02 21:25:35 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: sanguo/sanguo_moziplus_v2#133