claude_dev ab8f4e3782 fix(nas): sync_parquet_daily 扩到 A 档 13 类+gdhs 全量拉——巡查实锤 TYPES 写死旧 4 类,明晨 03:00 快照族/涨停池到不了 NAS [nas] ...

09-02 巡查发现: sync_parquet_daily.sh TYPES 硬编码 dragon_tiger/block_trade/
margin_sse/restricted,今晚 19:30 A 档首夜产出(快照族 6 类+涨停池×3)不在拉取
清单,明晨同步后 NAS 回测侧依旧零文件(provider §16 出口在 NAS 断供)。

修: TYPES 扩到 13 类(+zt_pool×3/fund_flow×2/ths×2/xueqiu_hot/sina_sector,
7 天滚动窗逻辑不变);gdhs=per-period(季度末日期永不落 7 天窗)单独全量拉
(dir /b 枚举后逐文件 scp,≤10 文件幂等,周六 ak-weekly 产出)。

生效位=/volume1/stock(scripts/nas_sync/),CI 不覆盖,需手动部署 NAS;部署后
手动跑一轮验证=顺带把今晚首夜数据提前送 NAS(不等明晨 03:00)。

2026-09-02 22:31:23 +08:00

..

export_increment.py

feat(env): Phase3 dbbardata增量同步脚本 + pre-existing测试问题存档

2026-07-29 21:11:36 +08:00

export_table.py

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

merge_increment.py

fix(nas): merge_increment计数免疫并发写者——inserted改用Connection.total_changes(只计本连接INSERT生效行),原after-before会被03:00合并窗口并发的bs_5m写入污染(08-25实锤skipped(dup)=-4881,5m插的行被记成merge的inserted);+2测试钉计数契约(新/dup/混掺/他源行不计入);venv310 644绿 [nas]

2026-08-25 21:32:28 +08:00

merge_table.py

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

promote.sh

feat(ci): CI/CD分层(NAS自动验证+VPS dispatch)

2026-07-31 15:14:05 +08:00

run_5m_standalone.sh

feat(nas): 5m下载脱离主容器治本——DSM任务原docker exec进主容器跑,任何push→CI重启主容器=杀在跑的5m(08-20两案+08-22增量案三案实锤,系统性);修=独立一次性容器docker run --rm同镜像同tag(与现役容器sanguo_vnpy_v2:lock-aligned实证一致,CI部署自动跟踪版本),挂载与主容器完全一致,主容器重启永不波及;单实例锁/pid活性/state幂等全部沿用;DSM命令改一行:bash /volume1/stock/sanguo_5m/run_5m.sh;⚠️片宽183d维持不缩(45d小片同配额多跑4倍夜晚,容器解耦后已无暴露面问题,撤回此前缩片建议) [nas]

2026-08-22 09:15:41 +08:00

sync_dbbardata.sh

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

sync_parquet_daily.sh

fix(nas): sync_parquet_daily 扩到 A 档 13 类+gdhs 全量拉——巡查实锤 TYPES 写死旧 4 类,明晨 03:00 快照族/涨停池到不了 NAS [nas]

2026-09-02 22:31:23 +08:00

sync_parquet_resumable.sh

feat(nas_sync): parquet 断点续传脚本(逐文件scp+NAS size校验跳过,治VPS无rsync) [nas]

2026-08-12 08:45:24 +08:00

sync_parquet.sh

fix(nas): sync_parquet.sh加互斥锁防周日双触发撕损——DSM id=6(周日04:00)当年配置即跑本脚本全量但从未实证(无parquet.log,当时标注待用户DSM UI确认命令),08-21又挂了sync_valuation_daily.sh周日钩子(~03:3x)同一脚本,两路若同日都触发=双scp -r并发写同文件撕损parquet;mkdir原子锁+>6h陈旧覆盖(单跑70min远不到)+trap EXIT清理,哪路先到哪路跑,后到skip留痕 [nas]

2026-08-21 23:18:06 +08:00

sync_tables.sh

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

sync_valuation_daily.sh

fix(nas): NAS同步链补两个断更域+周日周更全量挂载——2026-08-21晚全域巡检实锤:每日链(dbbardata增量03:00/小表/events四类/valuation+financial_abstract 03:09)全绿,但①valuation_baostock(bs_eod每晚写pe/pb按年parquet)NAS断更自08-16②fundamentals_baostock(08-20新域,fund腿每晚回灌profit/dupont)NAS完全不存在,两域无任何同步器覆盖;③per-stock周更14子域(balance/cashflow/top_holders等,sync_parquet.sh 6.24G全量)从未被调度,仅08-16手动跑过一次,top_holders已漏VPS 08-16 18:18批次。修=扩展sync_valuation_daily.sh(每日实跑载体):循环外加valuation_baostock+fundamentals_baostock两域scp -r(MB级秒级,03:09时VPS写盘已静止,同款3次重试)+周日(date +%u=7)setsid脱离挂sync_parquet.sh周更全量(ak-weekly周六重写后周日兜底);sync_parquet.sh全量清单补fundamentals_baostock源+du对齐;bash -n过 [nas]

2026-08-21 23:16:03 +08:00

vps_restart_resident.sh

fix(live): 部署滚动重启QMT会话竞态根治双层——P1 runner_live connect退避重试5×10s(08-30实录live_17/20重拉后connect=-1整引擎退出静默缺仓,会话回收秒级重试即免疫,失败清理QmtBroker自带重试安全)+P0 重启脚本杀后等30s会话回收+引擎数核验追平杀前DB期望追不平exit 1红灯(vps_count_engines.py经promote部署,expected须杀前取);VPS实测双模式6/6;全量1359绿 [vps]

2026-08-30 12:46:48 +08:00

vps_update_dist.py

ci(vps-deploy): 纳入前端dist同步+API重启(治公网前端无管线手动步骤): Mac构建+tar+scp→VPS换dist(脚本入仓scripts/nas_sync,vps_update_dist.py); 重启加端口释放等待(防end→run竞态10048静默崩,今日实踩)+起服探活(上限10min) [nas]

2026-08-14 10:06:54 +08:00