diff --git a/scripts/nas_sync/sync_parquet_daily.sh b/scripts/nas_sync/sync_parquet_daily.sh index ec5ebbf..38fa593 100644 --- a/scripts/nas_sync/sync_parquet_daily.sh +++ b/scripts/nas_sync/sync_parquet_daily.sh @@ -44,10 +44,14 @@ done # gdhs per-period 全量拉(季度末文件名不在滚动窗口内;周六 ak-weekly 产出,≤10 文件) mkdir -p "$DATA/static/gdhs" -# dir /b 输出带 CRLF: 粘在文件名尾 → scp 远端路径不存在 → 静默失败 6 天 -# (09-02~09-08 NAS gdhs 空)。tr -d ' ' 根治。 +# dir /b 输出带 CRLF: + 粘在文件名尾 → scp 远端路径不存在 → 静默失败 6 天 +# (09-02~09-08 NAS gdhs 空)。tr -d ' +' 根治。 for f in $(ssh -i "$KEY" -o StrictHostKeyChecking=no \ "$VPS" "dir /b C:\\sanguo_vnpy_v2\\data\\static\\gdhs\\*.parquet" 2>/dev/null | tr -d '\r'); do + # 期文件 write-once(marker 锁定): 已存在即跳过, 补史后 53 文件每日全量重拉是浪费 + [ -f "$DATA/static/gdhs/$f" ] && continue if scp -q -i "$KEY" -o StrictHostKeyChecking=no \ "$VPS:C:/sanguo_vnpy_v2/data/static/gdhs/$f" \ "$DATA/static/gdhs/" 2>/dev/null; then