docs(data): 补齐数据脚本文档(v1调研5文档复制+11脚本清单表)

This commit is contained in:
2026-07-07 20:00:50 +08:00
parent 1a88954126
commit fc39b549cf
6 changed files with 1679 additions and 1 deletions
+17 -1
View File
@@ -28,7 +28,23 @@ NAS /volume1/stock(日线/15min parquet + vnpy DB
- `STOCK_LIMIT` env:限制股票数(前 N,**验证用**,默认 0=全市场)
- **`run_daily_update.sh`** — 包装(rsync 拉 + v1 + 推),SSH 模式入口
- env`STOCK_LIMIT=N` / `SKIP_PULL=1`(验证跳过拉)
- 其他 v1 脚本:`backfill_15min_baostock.py`15min 回补)/ `realtime.py`(实时三源)/ `validator.py`(校验)等
### 完整脚本清单(`v2/scripts/data_platform/`
| 脚本 | 用途 | 用法 |
|------|------|------|
| `run_daily_update.sh` | **SSH 模式入口**rsync 拉+v1+推)| `./run_daily_update.sh [--skip-daily\|--skip-15min]` |
| `daily_all_update.py` | **全市场每日增量**(日线+15min,多源 fallback+熔断)| `python3 daily_all_update.py``STOCK_MOUNT`/`STOCK_LIMIT` env|
| `backfill_15min_baostock.py` | BaoStock 全量重建 15min 历史(`adjustflag=3` **raw**| 手动回补,按需 |
| `download_minute.py` | 15min 下载(HS300 子集等)| 按需 |
| `fallback.py` | 多源降级管理器(日线 akshare→腾讯 / 实时 新浪→东财→腾讯)| 被主脚本调用 |
| `realtime.py` | 实时行情三源降级 | 盘中按需 |
| `updater.py` | vnpy DB 增量更新(腾讯主源)| 被主脚本调用 |
| `validator.py` | 数据校验(7 条 fatal 规则)| 校验按需 |
| `import_vnpy_daily.py` / `import_vnpy_daily_fast.py` | vnpy DB 日线导入 | 迁移按需 |
| `import_vnpy_minute.py` | vnpy DB 分钟导入 | 迁移按需 |
> **主入口**`run_daily_update.sh`(定时/手动)。其他脚本是组件或按需工具。
> v1 调研文档(需求/设计/总结)已复制到 `v2/docs/data-platform/` 供参考。
## 定时(launchd,替代 crontab