docs(data): 全局下载方案与存放位置总表§18.8+CLAUDE.md语料路径行 [nas]——应用户「不想搞好几套下载方案和存放位置」:不是几套,是一条规则两台机器=每类数据唯一权威源+唯一权威位置(§14.2既定原则)+采集发起位置跟随权威位置;数值类(行情/估值/报表/事件面板)权威=VPS既有8任务家族不变,文本语料类(新闻/公告)权威=NAS(用户三约束唯一决定:不上VPS+东财IP限流+不绑docker);§18.8收齐现势10行任务总表(bs-daily/xt-eod/idx-eod/ak四频率/vintage/NAS03:00链/corpus)并注明§14.5为历史快照,存放=VPS data/数值权威+NAS /volume1/stock副本+大体积历史+语料唯一权威+Mac无生产数据,corpus不是第三种根=既有数据根新子目录;CLAUDE.md关键路径加corpus行(全session可见) [nas]
This commit is contained in:
@@ -134,6 +134,7 @@ NAS 上用于本项目部署的目录有两个(容器挂载源):
|
||||
- vnpy 源码:`/app/vnpy_v4.4.0/`(通过 `sys.path.insert(0, _VNPY_SRC)` 引用,不 pip install)
|
||||
- quant_trading.db(NAS 副本):`/volume1/stock/sanguo_vnpy_v2/data_backup/quant_trading.db`(26G,dbbardata 唯一行情表);⚠️旧 `/volume1/stock/sanguo_vnpy/data/` 已空(v1→v2 迁移残留)勿用;VPS 原库 `C:\sanguo_vnpy_v2\data\quant_trading.db`
|
||||
- A 股数据:`/volume1/stock/A股数据/`、`/volume1/stock/minute_kline/`
|
||||
- 基本面语料库(新闻+公告,**NAS 唯一权威、VPS 零参与**):`/volume1/stock/corpus/`(news_meta/news_fulltext/ann_meta/ann_pdf + state;设计=融合 spec `docs/superpowers/specs/2026-07-21-data-source-fusion-design.md` §18,采集=DSM 任务 sanguo-corpus-daily 06:00 admin 宿主机直跑零 docker)
|
||||
- 回测结果库(NAS test 跑 backtest 生成):`/volume1/stock/sanguo_vnpy_v2/data/backtest_results.db`(config/backtest.yaml,已改 v2);VPS 侧用 `SANGUO_DB_PATH` env 覆盖、不读此 config
|
||||
|
||||
### 部署流程(NAS 自动 / VPS 主动触发,所有开发 session 必读)
|
||||
|
||||
@@ -561,6 +561,33 @@ T1 宿主机 venv 自举(`--copies`,锁 cp38 兼容版本 pandas/pyarrow/request
|
||||
T3 DSM 任务注册(admin 身份,零 docker)+首周人工盯跑 → T4 backfill lane ①② → T5 ③④+容量闸门
|
||||
→ T6 验收清单执行+活文档本节补「实施终态」小节。每步一个 commit,标签 **[nas]**(VPS 零触及)。
|
||||
|
||||
### 18.8 全局下载方案与存放位置总表(回应「不想搞好几套」——本节=现势唯一完整说明)
|
||||
|
||||
**一条规则,不是几套方案**:每类数据**唯一权威源+唯一权威位置**(§14.2 既定原则),**采集发起位置
|
||||
跟随权威位置**——数值类(行情/估值/报表/事件面板)权威=VPS,既有任务家族不变;文本语料类(新闻/
|
||||
公告)权威=NAS(本节新增,用户三约束唯一决定:不上VPS+东财IP限流冲突+不绑docker)。两域方法论
|
||||
同款:单脚本注册表红线/慢爬防封/断点 marker/schtask 语义/容量闸门。§14.5 为 07-22 历史快照,
|
||||
采集任务现势以本表为准(08-20 起 bs-eod+bs-fund 已并 sanguo-bs-daily、akshare 已拆
|
||||
daily/weekly/monthly/events 三频率+ak-vintage 自检):
|
||||
|
||||
| 任务 | 机器 | 时刻 | 内容 | 权威落点 |
|
||||
|---|---|---|---|---|
|
||||
| sanguo-bs-daily | VPS | 18:05 | baostock 日线/15m/估值/财务 fund | dbbardata + valuation_baostock/ |
|
||||
| sanguo-xt-eod | VPS | 18:40 | xtdata ETF+个股当日实时 | dbbardata |
|
||||
| sanguo-idx-eod | VPS | 每日 | 指数点位 | SSE 表 |
|
||||
| sanguo-ak-daily | VPS | 07:35 | akshare 低频日更 | static/ |
|
||||
| sanguo-ak-events | VPS | 19:30 | A 档 15 类事件面板(时间守卫) | static/ |
|
||||
| sanguo-ak-weekly | VPS | 周六 03:00 | gdhs/share_capital/top_holders/northbound | static/ |
|
||||
| sanguo-ak-monthly | VPS | 首周六 | 三表全量马拉松(55h 跑道) | static/ |
|
||||
| ak-vintage 自检 | VPS | 09:00 | 缺日/错标防线 | vintage_status.json |
|
||||
| NAS sync 链(DSM id=2,root) | NAS | 03:00 | VPS→NAS 副本拉取(7 域) | /volume1/stock/… |
|
||||
| **sanguo-corpus-daily(DSM,admin)** | **NAS** | **06:00** | **巨潮公告+东财新闻(本设计)** | **/volume1/stock/corpus/** |
|
||||
|
||||
**存放位置全景**:**VPS `data/`=数值权威**(dbbardata 26G+static/+valuation_baostock/);
|
||||
**NAS `/volume1/stock/`=数值副本+大体积历史+语料唯一权威**(data_backup/quant_trading.db、
|
||||
A股数据/、minute_kline/、corpus/);Mac=开发 fixture 无生产数据。corpus 不是第三种根——
|
||||
就是既有 `/volume1/stock` 数据根下的新子目录,与 CLAUDE.md「NAS 部署目录」表一致。
|
||||
|
||||
## 参考(调查来源)
|
||||
|
||||
- xtdata 官方:https://dict.thinktrader.net/nativeApi/xtdata.html
|
||||
|
||||
Reference in New Issue
Block a user