feat(data): 财务136 W3' dmsk双lane落地+spec§19.8实施记录 [nas]
CI/CD / test (push) Successful in 32s
CI/CD / nas-deploy (push) Successful in 0s
CI/CD / nas-verify (push) Successful in 11s

- fundamentals_dmsk_download.py 单脚本(2009→今backfill+近3期daily NOTIC_DATE>=T-7),corpus骨架六修正全带入
- marker修正: daily按日折叠(§19.4原文「一次永逸」=day-2同款坑,52756e3教训);backfill键=域+期(域缺席连带跳过,首测抓出)
- 次新期金丝雀防「filter失效vs空期」不分导致的整段静默空跑
- run_dmsk_standalone.sh(DSM 07:10 sanguo-fundamentals-daily,一次性容器同corpus款)+verify_dmsk.py(键唯一硬门)
- 21测全mock绿,全量295绿;W1'镜像对账全绿+vb2026 H1缺口入档
This commit is contained in:
2026-09-08 00:29:23 +08:00
parent 2dcbdbe6fc
commit 236bd30eb8
5 changed files with 1178 additions and 0 deletions
@@ -818,6 +818,31 @@ valuation 今日刚同步/三表 09-06 全量),七域覆盖≡VPS(沪深 5215
缺口结论不变: 沪深退市 355+北交退市 258 三表缺(其日频估值已被 baostock 树覆盖)+
北交现役 340 空+forecast/express 2020 前可选。
### 19.8 实施记录(2026-09-08 凌晨)
- **W1' 镜像对账全绿**: 七域 count(三表各 5555=5215 沪深有效+340 北交 920xxx
零行空档,挂 .SZ 后缀=09-01 空 dump 残留;abstract/valuation 5557;forecast/
express 26 期)+600519 四锚点容器内复验逐位一致+读取 0.99s。第 8 域
valuation_baostock: 1990→2025 完整(2025 实测 1.25M 行/243 天/5211 股,含退市);
**2026 文件仅 08-13 起**(bs 日喂起点)→ 2026 H1 估值缺口由基线层 valuation
覆盖,H1 回补列可选 backlog。
- **W3' dmsk 双 lane 落地**: `fundamentals_dmsk_download.py`(单脚本红线,corpus
骨架复用+六修正全带入)+21 测全 mock 绿+`run_dmsk_standalone.sh`(DSM
`sanguo-fundamentals-daily` 07:10,一次性容器 sanguo-fund-dmsk,corpus 同款
--user 1024:100 --group-add 101)+`verify_dmsk.py`(键唯一硬门只读验收)。
落库=/volume1/stock/fundamentals/dmsk/{域}/dt=期/part-*.parquet,**绝不写镜像树**。
- **§19.4 marker 语义修正**: 原文「daily 增量 unit=REPORT_DATE 一次永逸按期
marker」有 day-2 同款坑(次日重扫被跳过漏新披露行,corpus 52756e3 教训)——实施
改为 daily marker 按日折叠(dt=子目录+日初清理);backfill 期 marker 才是一次
永逸(期内容历史不可变)。marker 键=域+期(域缺席会让后续域被首域 marker 连带
跳过,首测抓出)。
- **次新期金丝雀**: 东财把「filter 契约失效」与「合法空期」都回 result=None
无法区分→次新期(全市场已披露 3+ 月)空=契约漂移按失败处理不标 done,防整段
静默空跑标 done。
- **profit/dupont 断更根因初判**: fundamentals_baostock/backfill_state.json
一次性回补态、从未接日喂(与 vb 按年文件有 bs-daily 日喂形成对照);修法=季度
追赶一次性回补(~10 季×5200 股≈5.2 万发,分两晚),排 dmsk 之后,待用户点头。
## 参考(调查来源)
- xtdata 官方:https://dict.thinktrader.net/nativeApi/xtdata.html