[sanguo_vnpy_v2] P4-3 前置调研——漏斗分诊+事件快照+完整性门扩展点(不动码) #85

Closed
opened 2026-10-01 23:32:50 +00:00 by claude_dev · 1 comment
Owner

背景

P4 三刀串行(用户拍板):P4-1 向导+client 底座 ✅(4031c86..6f4167f)→ P4-2 分解器(factor 域领,#84 在飞)→ P4-3 漏斗刀(data 域领)。

本 issue=P4-3 前置调研(不动码)。用户钦定节奏:开工前先做实现级调研出报告,能复用不重造(照 P4-1 先例)。

调研范围(spec §4.8「P4 实施决议」)

  1. 漏斗分诊:自家 corpus_download Ctx 扩展点(决议 C7:夜批预算断路直接扩自家 corpus_download Ctx,夜批=扩展非新建)
  2. 事件快照:防编数快照(spec §4.8 前置纪律①:LLM 消费数据先落快照,可回放对拍)
  3. 完整性门:UZI 三层口径已在 spec §4.8 折入(20 维存在性+18 项字段级四元组 (dim,path,label,critical)+16 维充实度;<40% critical/<60% warning;profile-aware 分母必抄)——调研=在自家数据底座上定三层各自的数据来源与挂点

产出

docs/superpowers/reports/2026-10-02-p4-3-*.md——坐标到 file:line(自家 corpus_download/partition_reader/corpus_reader/fund_dmsk_reader 现有结构+扩展点+复用判定表),供 P4-2 落地后接续开工。

附带两件

  1. EM 三域 0925 洞补拉可行性评估(原挂「待用户手动补」——data 域接手:评估脚本补拉 vs 手动,给结论)
  2. 10-04(周日)pledge/stage4 首班预备:月度首班=data 域大件(pledge_detail 去重+15 截面增量),提前一天自查链路;首班产物出来前 verdict_replay/monthly-review/ic-trend 接真 null/404 属如实非故障

状态表

项 状态 产出
P4-3 调研报告 ⬜ reports/2026-10-02-p4-3-*.md
EM 0925 洞评估 ⬜ 结论进本 issue comment
10-04 首班预备 ⬜ 自查清单+风险注记

完成标记:@main-agent ✅ EXECUTE_DONE(分阶段)。

## 背景 P4 三刀串行(用户拍板):P4-1 向导+client 底座 ✅(4031c86..6f4167f)→ P4-2 分解器(factor 域领,#84 在飞)→ **P4-3 漏斗刀(data 域领)**。 本 issue=**P4-3 前置调研**(不动码)。用户钦定节奏:开工前先做实现级调研出报告,能复用不重造(照 P4-1 先例)。 ## 调研范围(spec §4.8「P4 实施决议」) 1. **漏斗分诊**:自家 `corpus_download` Ctx 扩展点(决议 C7:夜批预算断路**直接扩自家 corpus_download Ctx**,夜批=扩展非新建) 2. **事件快照**:防编数快照(spec §4.8 前置纪律①:LLM 消费数据先落快照,可回放对拍) 3. **完整性门**:UZI 三层口径已在 spec §4.8 折入(20 维存在性+18 项字段级四元组 (dim,path,label,critical)+16 维充实度;<40% critical/<60% warning;**profile-aware 分母必抄**)——调研=在自家数据底座上定三层各自的数据来源与挂点 ## 产出 `docs/superpowers/reports/2026-10-02-p4-3-*.md`——坐标到 file:line(自家 corpus_download/partition_reader/corpus_reader/fund_dmsk_reader 现有结构+扩展点+复用判定表),供 P4-2 落地后接续开工。 ## 附带两件 1. **EM 三域 0925 洞补拉可行性评估**(原挂「待用户手动补」——data 域接手:评估脚本补拉 vs 手动,给结论) 2. **10-04(周日)pledge/stage4 首班预备**:月度首班=data 域大件(pledge_detail 去重+15 截面增量),提前一天自查链路;首班产物出来前 verdict_replay/monthly-review/ic-trend 接真 null/404 属如实非故障 ## 状态表 | 项 | 状态 | 产出 | |---|---|---| | P4-3 调研报告 | ⬜ | reports/2026-10-02-p4-3-*.md | | EM 0925 洞评估 | ⬜ | 结论进本 issue comment | | 10-04 首班预备 | ⬜ | 自查清单+风险注记 | 完成标记:`@main-agent ✅ EXECUTE_DONE`(分阶段)。
Author
Owner

@main-agent ✅ EXECUTE_DONE(三件全毕,10-02)

件① P4-3 调研报告 ✅

docs/superpowers/reports/2026-10-02-p4-3-extension-points.md(a59a0d9 [nas],坐标当日全核验)。要点:

  • Ctx 预算断路(corpus_download.py:721/:750/:753/:767/:777/:783)token 计量挂 unit_done 同款 ~30 行;rc 0-3/marker/commit 次序契约零改动沿用
  • append-only 快照两域(输入快照 events_in + 判读快照 events_llm,append_parquet:396/DayBuffer:413/IdLedger:325 全现成)
  • 完整性门三层→自家底座映射(L1=manifest 27域∪新城+list_dates/read_watermark;L2=四元组自定清单;L3=字段非空率);UZI 坐标复核含一处路径修正(assemble_report.py 在 scripts/ 非 lib/)
  • 新设计约束:P4-1 client 选型是 FastAPI 挂载形态(sanguo_api/VPS 常驻),夜批漏斗在 NAS 一次性容器跑——client 核心必须可脱离 FastAPI 导入,第一刀计划要钉住

件② EM 三域 0925 洞:结论=无需补拉,账已平 ✅

三域=dragon_tiger / block_trade / restricted(0926T08:21 三连 RED failed=1 rows=0 精确对应)。证据链:

  1. 0925 文件 mtime=09-26 22:55(次日班 LOOKBACK 补写),内容 0 行
  2. 0925=中秋休市——龙虎榜/大宗/解禁是交易日绑定数据,休市日 0 行=真空语义正确,EM 源本无休市日数据可拉(手动/脚本均不可行也无需)
  3. 实际交易日数据完整:0923/0924/0928+ 全有健康行数;当时的 RED=监控旧版节假日误判(现 confirmed 集过滤+滚动带真空剔除已根治)
  4. 当晚写不出文件的机制=休市晚 EM 返回空→采集记 failed 不落文件→次日班补写空文件——行为无害,不改

件②连带新发现:margin 0924/0930 单沪腿(数据完备性,自愈在途)

调研中实锤(当前 health margin-rows yellow band 2573~6053 actual 2001 的根因):

  • margin 文件 0924=2002 行、0930=2001 行(只有沪腿);正常日 0928/0929=6051/6054(沪+深+北三腿)
  • 机制:fetch_margin(akshare_static_download.py:947)「请求日不在深/北最近两块→段跳过」无法区分「真旧日」与「当日深北未发布」→写出残缺+marker done 永不重跑
  • EM 深北 feed 滞后实锤:今探针见 0924 块已在(晚于 0926 周兜底才发布,故 0926 gapsonly 没补上);0930 块至今未发布(feed 最新=0929)
  • 自愈路径:10-03 03:00 ak-weekly --margin-backfill-gaps 会补 0924;0930 看 EM 节后是否补发
  • 影响面=零:全仓 grep RZYE/RZRQ 无任何因子/策略消费(纯监控域),10-04 月度批不受影响
  • 根治(候选入 cargo):请求日=最新确认交易日 且 TMC 最新块<请求日 → 整体 None 不写残缺(fail-loud),~10 行+测试

件③ 10-04 月度首班预备 ✅(自查清单全绿)

检查项 状态 证据
pledge_detail 月桶 ✅ VPS+NAS 均有 202609 桶;10-03 首班写 202610 桶(batch as_of=0930 用 ≤0930 数据,无依赖)
pledge_ratio 周快照 ✅ 双机齐至 20260918=节前最后真周五(0925 中秋无中登周报=源正确),消费链 fundamental_domains.py:492
NAS dbbardata ✅ 000300 尾=0928/0929/0930(镜像推到位)
margin_0930 ⚠️ 无影响 零消费方(见上)
ak-weekly 任务态 ✅ 预期 last_result=1 为 0926 断路器残留;share_capital 豁免已在 VPS 生效位 → 10-03 预期 rc=0 + 三黄自愈 + margin gapsonly 顺跑
假黄预期 ℹ️ 国庆窗 dbbardata stale 黄(工作日假定集 10-01/02/05-08 未确认日降黄)=设计内三态容忍,开盘自清

verdict_replay/monthly-review/ic-trend 首班产物前 null/404=如实非故障,已知。

@main-agent ✅ EXECUTE_DONE(三件全毕,10-02) ## 件① P4-3 调研报告 ✅ `docs/superpowers/reports/2026-10-02-p4-3-extension-points.md`(a59a0d9 [nas],坐标当日全核验)。要点: - Ctx 预算断路(corpus_download.py:721/:750/:753/:767/:777/:783)token 计量挂 unit_done 同款 ~30 行;rc 0-3/marker/commit 次序契约零改动沿用 - append-only 快照两域(输入快照 events_in + 判读快照 events_llm,append_parquet:396/DayBuffer:413/IdLedger:325 全现成) - 完整性门三层→自家底座映射(L1=manifest 27域∪新城+list_dates/read_watermark;L2=四元组自定清单;L3=字段非空率);UZI 坐标复核含一处路径修正(assemble_report.py 在 scripts/ 非 lib/) - **新设计约束**:P4-1 client 选型是 FastAPI 挂载形态(sanguo_api/VPS 常驻),夜批漏斗在 NAS 一次性容器跑——client 核心必须可脱离 FastAPI 导入,第一刀计划要钉住 ## 件② EM 三域 0925 洞:**结论=无需补拉,账已平** ✅ 三域=dragon_tiger / block_trade / restricted(0926T08:21 三连 RED `failed=1 rows=0` 精确对应)。证据链: 1. 0925 文件 mtime=**09-26 22:55**(次日班 LOOKBACK 补写),内容 0 行 2. 0925=中秋休市——龙虎榜/大宗/解禁是交易日绑定数据,休市日 0 行=**真空语义正确**,EM 源本无休市日数据可拉(手动/脚本均不可行也无需) 3. 实际交易日数据完整:0923/0924/0928+ 全有健康行数;当时的 RED=监控旧版节假日误判(现 confirmed 集过滤+滚动带真空剔除已根治) 4. 当晚写不出文件的机制=休市晚 EM 返回空→采集记 failed 不落文件→次日班补写空文件——行为无害,不改 ## 件②连带新发现:margin 0924/0930 单沪腿(数据完备性,自愈在途) 调研中实锤(当前 health `margin-rows yellow band 2573~6053 actual 2001` 的根因): - margin 文件 0924=2002 行、0930=2001 行(**只有沪腿**);正常日 0928/0929=6051/6054(沪+深+北三腿) - 机制:`fetch_margin`(akshare_static_download.py:947)「请求日不在深/北最近两块→段跳过」无法区分「真旧日」与「**当日深北未发布**」→写出残缺+marker done 永不重跑 - **EM 深北 feed 滞后实锤**:今探针见 0924 块已在(晚于 0926 周兜底才发布,故 0926 gapsonly 没补上);**0930 块至今未发布**(feed 最新=0929) - 自愈路径:10-03 03:00 ak-weekly `--margin-backfill-gaps` 会补 0924;0930 看 EM 节后是否补发 - **影响面=零**:全仓 grep RZYE/RZRQ 无任何因子/策略消费(纯监控域),10-04 月度批不受影响 - 根治(候选入 cargo):请求日=最新确认交易日 且 TMC 最新块<请求日 → 整体 None 不写残缺(fail-loud),~10 行+测试 ## 件③ 10-04 月度首班预备 ✅(自查清单全绿) | 检查项 | 状态 | 证据 | |---|---|---| | pledge_detail 月桶 | ✅ | VPS+NAS 均有 202609 桶;10-03 首班写 202610 桶(batch as_of=0930 用 ≤0930 数据,无依赖) | | pledge_ratio 周快照 | ✅ | 双机齐至 20260918=节前最后真周五(0925 中秋无中登周报=源正确),消费链 fundamental_domains.py:492 | | NAS dbbardata | ✅ | 000300 尾=0928/0929/0930(镜像推到位) | | margin_0930 | ⚠️ 无影响 | 零消费方(见上) | | ak-weekly 任务态 | ✅ 预期 | last_result=1 为 0926 断路器残留;share_capital 豁免已在 VPS 生效位 → 10-03 预期 rc=0 + 三黄自愈 + margin gapsonly 顺跑 | | 假黄预期 | ℹ️ | 国庆窗 dbbardata stale 黄(工作日假定集 10-01/02/05-08 未确认日降黄)=设计内三态容忍,开盘自清 | verdict_replay/monthly-review/ic-trend 首班产物前 null/404=如实非故障,已知。
Sign in to join this conversation.