docs(data): spec§18补admin与独立任务论证 [nas]——应用户问「为何不统一root/为何单独建定时任务」:admin三理由=03:00链root属主坑在案(admin覆盖须先rm再拉)+语料库admin侧操作密集(venv/盯跑/删分区)属主即零摩擦+最小权限出网爬虫不必root,成本为零;独立任务三理由=失败不连坐(对内行情同步vs对外慢爬马拉松,corpus卡死不拖死行情链,断路器饿死同款教训)+属主部署管道不同(sync脚本root地盘CI不覆盖vs corpus走CI的repo路径)+06:00避开03:00链跑道且00时档公告已入库全吃到 [nas]
This commit is contained in:
@@ -462,7 +462,17 @@ Schema(列名冻结,消费方=factor session 因子加工层,后续 provider fet
|
||||
`--until HH:MM`(墙钟自停)、`--limit N`(手动冒烟)。
|
||||
- **调度**: DSM 任务计划 **sanguo-corpus-daily,每日 06:00 一条,以 admin 身份跑**(先例=现有
|
||||
03:00 同步链 DSM 任务(id=2),宿主机直跑多年零 docker;本设计沿同模式但改 admin 跑,避该链
|
||||
root 属主文件坑):
|
||||
root 属主文件坑)。
|
||||
**为何 admin 而非统一 root**(用户问):①03:00 链 root 属主文件坑已在案——admin scp 覆盖
|
||||
root 文件 Permission denied 只能先 rm 再拉;语料库生命周期内 admin 侧操作密集(venv 装包/
|
||||
回补盯跑/删错分区/debug),admin 属主=全程零摩擦 ②最小权限:出网慢爬+写文件的进程没必要
|
||||
root,出错爆炸半径小一截 ③成本为零:DSM 建任务本就选用户,不比 root 贵——统一到 root 统一
|
||||
的是坏模式。**为何独立任务而非并进 03:00 链**(用户问):①失败不连坐——03:00 链=从 VPS 拉
|
||||
行情的对内同步,corpus=对外 HTTP 慢爬+数小时回补马拉松,合成一条则 corpus 卡死会拖死每日
|
||||
行情同步(断路器饿死同款教训,绝不复刻)②属主/部署管道不同——sync 脚本在 /volume1/stock
|
||||
root 地盘 CI 不覆盖须手动 scp,corpus 脚本走 CI deploy 的 repo 路径,搅进一条任务两头别扭
|
||||
③06:00 起跑避开 03:00 链跑道(26G 库同步 IO+家宽带宽),且 00 时档公告(54%)凌晨已入库,
|
||||
06:00 全吃到;DSM 加一条任务代价≈零,改 root 生产链脚本才是真风险:
|
||||
`/volume1/stock/corpus/venv/bin/python -X utf8
|
||||
/volume1/homes/admin/.sanguo_projects/sanguo_vnpy_v2/scripts/data_platform/corpus_download.py
|
||||
--lane daily && 同解释器 --lane backfill --until 17:30`
|
||||
|
||||
Reference in New Issue
Block a user