docs(data): 全局下载方案与存放位置总表§18.8+CLAUDE.md语料路径行 [nas]——应用户「不想搞好几套下载方案和存放位置」:不是几套,是一条规则两台机器=每类数据唯一权威源+唯一权威位置(§14.2既定原则)+采集发起位置跟随权威位置;数值类(行情/估值/报表/事件面板)权威=VPS既有8任务家族不变,文本语料类(新闻/公告)权威=NAS(用户三约束唯一决定:不上VPS+东财IP限流+不绑docker);§18.8收齐现势10行任务总表(bs-daily/xt-eod/idx-eod/ak四频率/vintage/NAS03:00链/corpus)并注明§14.5为历史快照,存放=VPS data/数值权威+NAS /volume1/stock副本+大体积历史+语料唯一权威+Mac无生产数据,corpus不是第三种根=既有数据根新子目录;CLAUDE.md关键路径加corpus行(全session可见) [nas]
This commit is contained in:
@@ -561,6 +561,33 @@ T1 宿主机 venv 自举(`--copies`,锁 cp38 兼容版本 pandas/pyarrow/request
|
||||
T3 DSM 任务注册(admin 身份,零 docker)+首周人工盯跑 → T4 backfill lane ①② → T5 ③④+容量闸门
|
||||
→ T6 验收清单执行+活文档本节补「实施终态」小节。每步一个 commit,标签 **[nas]**(VPS 零触及)。
|
||||
|
||||
### 18.8 全局下载方案与存放位置总表(回应「不想搞好几套」——本节=现势唯一完整说明)
|
||||
|
||||
**一条规则,不是几套方案**:每类数据**唯一权威源+唯一权威位置**(§14.2 既定原则),**采集发起位置
|
||||
跟随权威位置**——数值类(行情/估值/报表/事件面板)权威=VPS,既有任务家族不变;文本语料类(新闻/
|
||||
公告)权威=NAS(本节新增,用户三约束唯一决定:不上VPS+东财IP限流冲突+不绑docker)。两域方法论
|
||||
同款:单脚本注册表红线/慢爬防封/断点 marker/schtask 语义/容量闸门。§14.5 为 07-22 历史快照,
|
||||
采集任务现势以本表为准(08-20 起 bs-eod+bs-fund 已并 sanguo-bs-daily、akshare 已拆
|
||||
daily/weekly/monthly/events 三频率+ak-vintage 自检):
|
||||
|
||||
| 任务 | 机器 | 时刻 | 内容 | 权威落点 |
|
||||
|---|---|---|---|---|
|
||||
| sanguo-bs-daily | VPS | 18:05 | baostock 日线/15m/估值/财务 fund | dbbardata + valuation_baostock/ |
|
||||
| sanguo-xt-eod | VPS | 18:40 | xtdata ETF+个股当日实时 | dbbardata |
|
||||
| sanguo-idx-eod | VPS | 每日 | 指数点位 | SSE 表 |
|
||||
| sanguo-ak-daily | VPS | 07:35 | akshare 低频日更 | static/ |
|
||||
| sanguo-ak-events | VPS | 19:30 | A 档 15 类事件面板(时间守卫) | static/ |
|
||||
| sanguo-ak-weekly | VPS | 周六 03:00 | gdhs/share_capital/top_holders/northbound | static/ |
|
||||
| sanguo-ak-monthly | VPS | 首周六 | 三表全量马拉松(55h 跑道) | static/ |
|
||||
| ak-vintage 自检 | VPS | 09:00 | 缺日/错标防线 | vintage_status.json |
|
||||
| NAS sync 链(DSM id=2,root) | NAS | 03:00 | VPS→NAS 副本拉取(7 域) | /volume1/stock/… |
|
||||
| **sanguo-corpus-daily(DSM,admin)** | **NAS** | **06:00** | **巨潮公告+东财新闻(本设计)** | **/volume1/stock/corpus/** |
|
||||
|
||||
**存放位置全景**:**VPS `data/`=数值权威**(dbbardata 26G+static/+valuation_baostock/);
|
||||
**NAS `/volume1/stock/`=数值副本+大体积历史+语料唯一权威**(data_backup/quant_trading.db、
|
||||
A股数据/、minute_kline/、corpus/);Mac=开发 fixture 无生产数据。corpus 不是第三种根——
|
||||
就是既有 `/volume1/stock` 数据根下的新子目录,与 CLAUDE.md「NAS 部署目录」表一致。
|
||||
|
||||
## 参考(调查来源)
|
||||
|
||||
- xtdata 官方:https://dict.thinktrader.net/nativeApi/xtdata.html
|
||||
|
||||
Reference in New Issue
Block a user