claude_dev
c3e53fbef3
- scripts/data_platform/_archive/legacy/: 归档20个独立探针/诊断/旧降级脚本(零引用验证) - docs/archive/data/: 归档17个数据相关旧设计/plan/report(保留fusion spec作深读) - docs/data-platform/README.md: 数据层单一权威记录(8节:架构/布局/源/管线/铁律/API/缺口/待办) - 删除 _mootdx_depth_result.txt - Phase2待办: 15m灌库链+旧回填import链(有测试/wrapper依赖,VPS schtask确认后归档)
4.3 KiB
4.3 KiB
静态数据 3 个真缺口 — 补充设计(2026-07-19 记录)
✅ 方案A 2026-07-22 落地后状态(见 data-fusion-design-finalized memory §14):
- 缺口1 日线换手/涨跌:已实现——baostock
turn/pctChg拆valuation_baostock/<year>.parquet按年宽表(2003-2026),非派生(原设计的"派生方案"已被 baostock 现成字段替代)。- 缺口2 ETF 入 universe:已完成——xtata
sanguo-xt-eod18:40 跑,universe 沪深A股∪ETF∪基金=7414,dividend_type='front',ETF 入 dbbardata 与个股共表。- 缺口3 指数成分历史:✅ 2026-07-23 全闭环——
constituent_unified8466行/9指数(300/500/50 baostock 时点聚合全集 + 深证 4 指 akshare cni union 含被踢 + 中证1000/2000 csindex 公告回溯全集)。原"永久 gap"已推翻:csindex 公告 JSON 接口(queryAnnouncementByVo + PDF/xlsx 附件)回溯调整公告治偏差,000852 1000→1672(was_removed=672)/ 932000 2000→2684(684)。详见 memory csindex-announce-backfill。残留 gap:932000 中间调整 csindex 无公告(launch∪current 近似)/ 000852 2007-2016 部分公告无附件(2016-12 起完整)。下文为 2026-07-19 原始设计,保留作历史参考。
数据现状实测(VPS quant_trading.db + data/ 目录,非推理)
- DB dbbardata: 15m(2025-07
2026-07,1年,xt_tacitdata源)/5m(1年)/**d日线(20102026,16年,5205 symbols,OHLCV+amount)**。dbbardata schema 有 turnover(=成交额amount),无换手率/涨跌幅列。 - parquet data/raw + data/qfq: 各 59816,O H L C V 6列,16年(xtdata建,build_daily_from_xtdata)。
- data/static/: akshare balance 跑着(4300+ parquet)。
- 实测缺口:
- 日线缺换手率+涨跌幅(amount已在DB 16年)
- ETF不在daily universe(5205 symbols大概率纯股票,518880等海外ETF缺)
- 指数成分历史(含被踢)完全无(全项目无脚本,akshare只当前快照)
3 缺口设计(派生方案,避开数据混乱+接口限流)
缺口1:日线换手/涨跌 → 派生,不新下载
- pct_chg = (close今 - close昨)/close昨,从 qfq close 算(16年,避免除权跳空)。
- 换手率 = volume / 流通股本。volume在DB;流通股本在 akshare valuation(stock_value_em,排队P1,8.5年)。
- amount:DB已有(16年)。
- 不开 daily_extra 新目录,读取层派生 或 DB加列 → 不加剧"四套口径分裂" + 零新东财负载。
缺口2:ETF日线 → 加进现有 xtdata universe
- ETF清单:海外 518880(黄金)/513100(纳指)/513030(德国)/164824(石油)/159866(有色) + 主 510300/510500/159915等,maintain成config。
- 加进
build_daily_from_xtdata的 universe → 走现有 xtdata 本地管线(miniQMT),不碰东财,无限流。
缺口3:指数成分历史(含被踢) → csindex 抓取,先 spike
- 范围:hs300(000300)/zz500(000905)/zz50(000016)/中小综指(399101)/创业板指(399006)。
- 先派 agent spike 调研源:akshare 有无历史成分API(index_stock_cons_weight_csindex带日期?fund_portfolio_hold_em?)、csindex.cn 历史成分xlsx URL规律+反爬、深证399101/399006 巨潮/szse 源。
- B档(务实,先行):抓全部历史调仓成分→并集(曾经入选集),消灭幸存者偏差。output
data/index_const_hist/<indexcode>.parquet。 - A档(精确,后做):时间序列(指数,生效日,成分,加/剔)。
- csindex 独立源,串行单线程抓,限流风险低。
风险结论(为何用派生方案)
- 原设计(akshare daily_extra) 有双风险:① 数据混乱——日线口径第四处(DB/parquet raw/parquet qfq/daily_extra),回测不知读哪;② 接口限流——daily_fields_akshare 并发 akshare_static = 第二股东财流量→东财封(同 baostock 黑名单原理)。
- 派生方案:缺口1 两风险全消(不下载/不开新目录);ETF走xtdata无限流;csindex独立源串行低风险。
- 唯一仍调外部API:缺口3(csindex)+ 已排队的 akshare static 本身——保持串行+限速,不新增并发。
决策与顺序(下载完后)
- 派生换手/涨跌(读取层工具 或 DB加列)——缺口1
- ETF 入 xtdata daily universe——缺口2
- csindex spike 调研 → 定 B档抓取脚本——缺口3
- (远期)A档精确成分时间序列
关联
- 主计划:
docs/static_data_cache_plan.md - 现状memory:
baostock-15min-vps-deploy-plan/db-primary-parquet-fallback/data-download-architecture