docs(data): 补齐数据脚本文档(v1调研5文档复制+11脚本清单表)
This commit is contained in:
@@ -28,7 +28,23 @@ NAS /volume1/stock(日线/15min parquet + vnpy DB)
|
||||
- `STOCK_LIMIT` env:限制股票数(前 N,**验证用**,默认 0=全市场)
|
||||
- **`run_daily_update.sh`** — 包装(rsync 拉 + v1 + 推),SSH 模式入口
|
||||
- env:`STOCK_LIMIT=N` / `SKIP_PULL=1`(验证跳过拉)
|
||||
- 其他 v1 脚本:`backfill_15min_baostock.py`(15min 回补)/ `realtime.py`(实时三源)/ `validator.py`(校验)等
|
||||
### 完整脚本清单(`v2/scripts/data_platform/`)
|
||||
|
||||
| 脚本 | 用途 | 用法 |
|
||||
|------|------|------|
|
||||
| `run_daily_update.sh` | **SSH 模式入口**(rsync 拉+v1+推)| `./run_daily_update.sh [--skip-daily\|--skip-15min]` |
|
||||
| `daily_all_update.py` | **全市场每日增量**(日线+15min,多源 fallback+熔断)| `python3 daily_all_update.py`(`STOCK_MOUNT`/`STOCK_LIMIT` env)|
|
||||
| `backfill_15min_baostock.py` | BaoStock 全量重建 15min 历史(`adjustflag=3` **raw**)| 手动回补,按需 |
|
||||
| `download_minute.py` | 15min 下载(HS300 子集等)| 按需 |
|
||||
| `fallback.py` | 多源降级管理器(日线 akshare→腾讯 / 实时 新浪→东财→腾讯)| 被主脚本调用 |
|
||||
| `realtime.py` | 实时行情三源降级 | 盘中按需 |
|
||||
| `updater.py` | vnpy DB 增量更新(腾讯主源)| 被主脚本调用 |
|
||||
| `validator.py` | 数据校验(7 条 fatal 规则)| 校验按需 |
|
||||
| `import_vnpy_daily.py` / `import_vnpy_daily_fast.py` | vnpy DB 日线导入 | 迁移按需 |
|
||||
| `import_vnpy_minute.py` | vnpy DB 分钟导入 | 迁移按需 |
|
||||
|
||||
> **主入口**:`run_daily_update.sh`(定时/手动)。其他脚本是组件或按需工具。
|
||||
> v1 调研文档(需求/设计/总结)已复制到 `v2/docs/data-platform/` 供参考。
|
||||
|
||||
## 定时(launchd,替代 crontab)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user