feat(data): 财务136 W3' dmsk双lane落地+spec§19.8实施记录 [nas]
- fundamentals_dmsk_download.py 单脚本(2009→今backfill+近3期daily NOTIC_DATE>=T-7),corpus骨架六修正全带入 - marker修正: daily按日折叠(§19.4原文「一次永逸」=day-2同款坑,52756e3教训);backfill键=域+期(域缺席连带跳过,首测抓出) - 次新期金丝雀防「filter失效vs空期」不分导致的整段静默空跑 - run_dmsk_standalone.sh(DSM 07:10 sanguo-fundamentals-daily,一次性容器同corpus款)+verify_dmsk.py(键唯一硬门) - 21测全mock绿,全量295绿;W1'镜像对账全绿+vb2026 H1缺口入档
This commit is contained in:
@@ -818,6 +818,31 @@ valuation 今日刚同步/三表 09-06 全量),七域覆盖≡VPS(沪深 5215
|
||||
缺口结论不变: 沪深退市 355+北交退市 258 三表缺(其日频估值已被 baostock 树覆盖)+
|
||||
北交现役 340 空+forecast/express 2020 前可选。
|
||||
|
||||
### 19.8 实施记录(2026-09-08 凌晨)
|
||||
|
||||
- **W1' 镜像对账全绿**: 七域 count(三表各 5555=5215 沪深有效+340 北交 920xxx
|
||||
零行空档,挂 .SZ 后缀=09-01 空 dump 残留;abstract/valuation 5557;forecast/
|
||||
express 26 期)+600519 四锚点容器内复验逐位一致+读取 0.99s。第 8 域
|
||||
valuation_baostock: 1990→2025 完整(2025 实测 1.25M 行/243 天/5211 股,含退市);
|
||||
**2026 文件仅 08-13 起**(bs 日喂起点)→ 2026 H1 估值缺口由基线层 valuation
|
||||
覆盖,H1 回补列可选 backlog。
|
||||
- **W3' dmsk 双 lane 落地**: `fundamentals_dmsk_download.py`(单脚本红线,corpus
|
||||
骨架复用+六修正全带入)+21 测全 mock 绿+`run_dmsk_standalone.sh`(DSM
|
||||
`sanguo-fundamentals-daily` 07:10,一次性容器 sanguo-fund-dmsk,corpus 同款
|
||||
--user 1024:100 --group-add 101)+`verify_dmsk.py`(键唯一硬门只读验收)。
|
||||
落库=/volume1/stock/fundamentals/dmsk/{域}/dt=期/part-*.parquet,**绝不写镜像树**。
|
||||
- **§19.4 marker 语义修正**: 原文「daily 增量 unit=REPORT_DATE 一次永逸按期
|
||||
marker」有 day-2 同款坑(次日重扫被跳过漏新披露行,corpus 52756e3 教训)——实施
|
||||
改为 daily marker 按日折叠(dt=子目录+日初清理);backfill 期 marker 才是一次
|
||||
永逸(期内容历史不可变)。marker 键=域+期(域缺席会让后续域被首域 marker 连带
|
||||
跳过,首测抓出)。
|
||||
- **次新期金丝雀**: 东财把「filter 契约失效」与「合法空期」都回 result=None
|
||||
无法区分→次新期(全市场已披露 3+ 月)空=契约漂移按失败处理不标 done,防整段
|
||||
静默空跑标 done。
|
||||
- **profit/dupont 断更根因初判**: fundamentals_baostock/backfill_state.json
|
||||
一次性回补态、从未接日喂(与 vb 按年文件有 bs-daily 日喂形成对照);修法=季度
|
||||
追赶一次性回补(~10 季×5200 股≈5.2 万发,分两晚),排 dmsk 之后,待用户点头。
|
||||
|
||||
## 参考(调查来源)
|
||||
|
||||
- xtdata 官方:https://dict.thinktrader.net/nativeApi/xtdata.html
|
||||
|
||||
Reference in New Issue
Block a user