sanguo_vnpy_v2

export_increment.py

feat(env): Phase3 dbbardata增量同步脚本 + pre-existing测试问题存档

2026-07-29 21:11:36 +08:00

export_table.py

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

merge_increment.py

fix(nas): merge_increment计数免疫并发写者——inserted改用Connection.total_changes(只计本连接INSERT生效行),原after-before会被03:00合并窗口并发的bs_5m写入污染(08-25实锤skipped(dup)=-4881,5m插的行被记成merge的inserted);+2测试钉计数契约(新/dup/混掺/他源行不计入);venv310 644绿 [nas]

2026-08-25 21:32:28 +08:00

merge_table.py

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

nas_monitor_check.py

fix(data): 监控收尾两修——过程层日志窗 26h(防晨班 8 天窗每日重炒旧失败,上周五 RemoteDisconnected 连带实案)/NAS events 带 green_keys 回传(VPS 摄取时 resolve NAS 告警,防永不转绿)+runbook 注记同步 [vps]

2026-09-26 08:08:26 +08:00

promote.sh

feat(ci): CI/CD分层(NAS自动验证+VPS dispatch)

2026-07-31 15:14:05 +08:00

push_vps_mirror_daily.sh

feat(nas): NAS 监控 v2(corpus/dmsk/hot_rank/mirror/xcheck/磁盘六族检查,host=nas 事件 scp 推 VPS inbox,挂 vps-mirror 16:00 班尾,spec §20.15) [nas]

2026-09-25 23:06:15 +08:00

run_5m_standalone.sh

fix(nas): run_5m 一次性容器加 --no-healthcheck,根除 unhealthy 误报 [nas]

2026-09-07 12:33:18 +08:00

run_corpus_standalone.sh

feat(data): hot_rank 采集迁 NAS 家宽出口(spec §20.14)——emappdata 云 IP 断连三晚定论,B 实证;corpus 班尾 runner(容器采 emappdata+腾讯 join+scp 推回 static/hot_rank,.pushed 补推幂等);runbook §7.5 终态闭档+§2 retry 班行 [nas]

2026-09-25 21:50:38 +08:00

run_dmsk_standalone.sh

feat(data_platform): xcheck 跨 vendor 对账域上线(spec §20.12.4 终版,对照类实施)——时机=写后即照两档(事件驱动主档挂 wash/corpus 班车+漂移兜底档 Phase 2b);内容=四层漏斗(键完整性→NOTICE_DATE 披露日→估值数值[qt 字段位 vs valuation_baostock peTTM/pbMRQ,阈值 0.1%/1% 分档]→分布漂移缓后)+按需收窄;结果五级路由 L0 静默/L1 舍入档案/L2 报警 suspect/L3 多数派仲裁写 wash pending[XCHECK_L3_AUTO 默认关]/L4 人工;可追溯=findings 每行内嵌三方原值证据快照+trace_id xc-YYYYMMDD-NNNN 贯穿发现→仲裁→重洗→复验+根因分类学七类+报告 tmp+rename 原子+--dry-run;两 lane 接线:corpus_side 挂 run_corpus 尾(ann_em 拉取+qt 快照),fund_side 挂 run_dmsk 尾(读 wash manifests 命中股+新浪三表近12期+两源 NOTICE_DATE 本地对照);xcheck 不推 VPS(NAS 侧质检设施);TDD 19 例全套 484 绿 [nas]

2026-09-22 08:38:37 +08:00

run_factor_monthly_standalone.sh

feat(pipeline): P1 部署尾节调度件——NAS runner 第一周日号闸+VPS wrapper+schtask XML 注册 [vps]

2026-09-23 23:35:29 +08:00

run_hot_rank_nas.sh

fix(data): run_hot_rank_nas 推送用户名勘误(admin→Administrator,vps-mirror 同款;首跑 Permission denied 实锤后修,重跑全链绿=当日 0925 缺口当场补齐 100 行) [nas]

2026-09-25 21:54:00 +08:00

run_monitor_nas.sh

feat(nas): NAS 监控 v2(corpus/dmsk/hot_rank/mirror/xcheck/磁盘六族检查,host=nas 事件 scp 推 VPS inbox,挂 vps-mirror 16:00 班尾,spec §20.15) [nas]

2026-09-25 23:06:15 +08:00

sync_dbbardata.sh

fix(nas_sync): 03:00 链执行位勘误+双修落地+反向漂移收编(runbook §7.4)——①执行位勘误:runbook 原登记 homes/admin 为部署位,实证 DSM id=2 root 班实跑 /volume1/stock/sanguo_vnpy_v2/scripts/nas_sync/(03:00 连续两晚 91 attempts=13类×7天=旧版行为,homes/admin 已 18 类);09-17 的 TYPES 18类(e0f5730)+index_const_hist(f280124)只落 repo 未 scp 执行位→NAS margin 停 0911/nb_daily 0911/hot_rank 0908 而 VPS 已回补 0914-0916,今晨已 scp 两脚本到执行位,今夜 03:00 全量追平 ②反向漂移收编:执行位 sync_dbbardata 尾部带 Jul31/Aug01 两段 NAS 本地热修钩子(sync_parquet_daily+sync_valuation_daily)从未进 repo,若按旧登记推 repo 版会静默停跑两段日同步——钩子收编进 repo,五 .sh diff 全 SAME ③防漂移检查入 runbook:改 nas_sync 后必须 scp -O 全量+逐个 diff SAME 收口 [nas]

2026-09-18 08:08:30 +08:00

sync_parquet_daily.sh

feat(ak): §20.13 因子P1三新域采集落地——pledge_ratio per-Friday快照(20210108起,未发布周五failed不写marker次周自愈)+pledge_detail RPTA_APP_ACCUMDETAILS月桶全量(12.7万行254页走fetch_em_dc_pages节流通道防§15.3红线,MXID去重防页边界漂移,raw白捡IS_CONTROL_SHAREHOLDER)+research_report PER_WEEK周窗(reportapi直连薄客户端1s节流,anchor=周五窗=周一..五,EM空值转None防pyarrow混型炸);调度=ak-weekly周六班追加两独立命令不带--force;sync=listing段三域skip-if-exists(周五锚滞后任意天必追上,同gdhs/nb_hold先例);TDD 20例+Mac冒烟双绿(pledge 2212行/研报103行51列原生直存目标价带值) 504全绿 [vps]

2026-09-22 10:21:47 +08:00

sync_parquet_resumable.sh

feat(nas_sync): parquet 断点续传脚本(逐文件scp+NAS size校验跳过,治VPS无rsync) [nas]

2026-08-12 08:45:24 +08:00

sync_parquet.sh

fix(nas): sync_parquet.sh加互斥锁防周日双触发撕损——DSM id=6(周日04:00)当年配置即跑本脚本全量但从未实证(无parquet.log,当时标注待用户DSM UI确认命令),08-21又挂了sync_valuation_daily.sh周日钩子(~03:3x)同一脚本,两路若同日都触发=双scp -r并发写同文件撕损parquet;mkdir原子锁+>6h陈旧覆盖(单跑70min远不到)+trap EXIT清理,哪路先到哪路跑,后到skip留痕 [nas]

2026-08-21 23:18:06 +08:00

sync_tables.sh

feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)

2026-07-31 08:18:36 +08:00

sync_valuation_daily.sh

docs(spec): §20.10 数据面全景定稿——13 条活跃管线清单(VPS 夜班 9+NAS 晨班 4+周日全量)/归属体量总表/口径四原则(用户 09-17 拍板:VPS 采→NAS 必同步铁律,LLM=cfdaily 忽略,分钟线+归档搁置,消费不跨机)/半截文件防线(margin 0911 根因链闭环+新代码语义)/已知问题登记簿;本节自此为数据面唯一权威查询入口不再探针回溯;附 index_const_hist 补入 sync_valuation_daily 根级段(统一铁律首例,44 文件整文件重写月更) [nas]

2026-09-17 20:02:18 +08:00

vps_mirror_lib.py

feat(data_platform): corpus flash_meta 全市场快讯域上线(spec §20.12.3 补充类采纳)——金十 flash_newest.js 快照+东财 kuaixun 翻页(T-1 边界停界,20页硬顶)两源,与 news_meta 个股新闻语义并列不 join;flash_id=源前缀+源站稳定id跨源命名空间隔离,当日marker幂等,源级隔离单源失败不炸另一源;run_corpus.sh 第三lane rc隔离不进聚合(两主lane全让路也不漏当天快讯);镜像车 corpus 四子域扩五(新域指纹全新首跑自动全量推);corpus_reader.get_flash 空df带schema;TDD +13例全套465绿;Mac真网络冒烟=金十50+东财884新,21s完赛,dt跨度T-1边界实证,幂等复跑零请求;首班锚点=次日06:0x flash lane exit=0行 [nas]

2026-09-22 08:17:14 +08:00

vps_restart_resident.sh

fix(live): 部署滚动重启QMT会话竞态根治双层——P1 runner_live connect退避重试5×10s(08-30实录live_17/20重拉后connect=-1整引擎退出静默缺仓,会话回收秒级重试即免疫,失败清理QmtBroker自带重试安全)+P0 重启脚本杀后等30s会话回收+引擎数核验追平杀前DB期望追不平exit 1红灯(vps_count_engines.py经promote部署,expected须杀前取);VPS实测双模式6/6;全量1359绿 [vps]

2026-08-30 12:46:48 +08:00

vps_update_dist.py

ci(vps-deploy): 纳入前端dist同步+API重启(治公网前端无管线手动步骤): Mac构建+tar+scp→VPS换dist(脚本入仓scripts/nas_sync,vps_update_dist.py); 重启加端口释放等待(防end→run竞态10048静默崩,今日实踩)+起服探活(上限10min) [nas]

2026-08-14 10:06:54 +08:00