This website requires JavaScript.
Explore
Help
Register
Sign In
sanguo
/
sanguo_vnpy_v2
Watch
3
Star
0
Fork
0
You've already forked sanguo_vnpy_v2
Code
Issues
5
Pull Requests
Actions
Packages
Projects
Releases
Wiki
Activity
Files
b954b02e75be8277227f34644dda40b917d8ad44
sanguo_vnpy_v2
/
scripts
/
nas_sync
T
History
claude_dev
b954b02e75
CI/CD / test (push)
Successful in 45s
Details
CI/CD / nas-deploy (push)
Has been cancelled
Details
CI/CD / nas-verify (push)
Has been cancelled
Details
fix(monitor): 监控班次二 P2 批——D-5 db_sample 日历不可达去 fail-open(样本可读弱检/库不可达黄)+D-6 month_bucket 损坏件 rows=None 黄(对齐 per_date)+D-8 check_disk 阈值参数化消费注册表 warn_gb/crit_gb(旧硬编码 8/20=改表不改行为校准陷阱,crit_gb 全仓无消费)+D-9 vintage/NAS ts fromisoformat 捕 TypeError+D-10 db_sample close 进 finally+AL-1 upsert 更新 severity(同日黄→红升级即时落表,旧 UPDATE 不动=次日新 id 才纠正)+purge 收口 MON-202610-04(open 黄改 last_seen 28d=活着不删,旧 first_seen 14d 硬删无声抹持续黄+断 count 升级链;resolved 统一 30d,open 红永不删)+N-1 run_monitor_nas.sh rc 先存后拼($(date) 同词先展开重置 $?=exit 恒 0,rc 隔离下 NAS 崩溃唯一现场线索)+N-2 NAS 日历豁免短期方案(last_weekday 接休市表镜像+CI 同步测钉与 monitor_registry 相等=7f9b413 镜像纪律;10-06 旧码会把 10-05 假日当昨交易日;corpus 34h 日历日节奏实证无需豁免)+P3 归因([FATAL] 级别标记不当类型归 _global,scan_signatures 注记 test-only 勿接线)+T-2 NAS red 分支(hot_rank 文件缺)测试补缺+migration_logs 保洁(data_monitor_wrapper 双班剪 14d 前旧件,13 wrapper 无限增长收口);monitoring spec §5.1/§5.2/§5.3-④/§5.4/§5.5-④/§7.6/§12 随码(C-A1 universe 异常实串/C-A2 签名表勘正补 Expecting value/C-A6 disk 阈值表述+锚点行数刷新) [vps] [nas]
2026-10-05 15:54:13 +08:00
..
export_increment.py
feat(env): Phase3 dbbardata增量同步脚本 + pre-existing测试问题存档
2026-07-29 21:11:36 +08:00
export_table.py
feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)
2026-07-31 08:18:36 +08:00
merge_increment.py
fix(nas): merge_increment计数免疫并发写者——inserted改用Connection.total_changes(只计本连接INSERT生效行),原after-before会被03:00合并窗口并发的bs_5m写入污染(08-25实锤skipped(dup)=-4881,5m插的行被记成merge的inserted);+2测试钉计数契约(新/dup/混掺/他源行不计入);venv310 644绿 [nas]
2026-08-25 21:32:28 +08:00
merge_table.py
feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)
2026-07-31 08:18:36 +08:00
nas_monitor_check.py
fix(monitor): 监控班次二 P2 批——D-5 db_sample 日历不可达去 fail-open(样本可读弱检/库不可达黄)+D-6 month_bucket 损坏件 rows=None 黄(对齐 per_date)+D-8 check_disk 阈值参数化消费注册表 warn_gb/crit_gb(旧硬编码 8/20=改表不改行为校准陷阱,crit_gb 全仓无消费)+D-9 vintage/NAS ts fromisoformat 捕 TypeError+D-10 db_sample close 进 finally+AL-1 upsert 更新 severity(同日黄→红升级即时落表,旧 UPDATE 不动=次日新 id 才纠正)+purge 收口 MON-202610-04(open 黄改 last_seen 28d=活着不删,旧 first_seen 14d 硬删无声抹持续黄+断 count 升级链;resolved 统一 30d,open 红永不删)+N-1 run_monitor_nas.sh rc 先存后拼($(date) 同词先展开重置 $?=exit 恒 0,rc 隔离下 NAS 崩溃唯一现场线索)+N-2 NAS 日历豁免短期方案(last_weekday 接休市表镜像+CI 同步测钉与 monitor_registry 相等=7f9b413 镜像纪律;10-06 旧码会把 10-05 假日当昨交易日;corpus 34h 日历日节奏实证无需豁免)+P3 归因([FATAL] 级别标记不当类型归 _global,scan_signatures 注记 test-only 勿接线)+T-2 NAS red 分支(hot_rank 文件缺)测试补缺+migration_logs 保洁(data_monitor_wrapper 双班剪 14d 前旧件,13 wrapper 无限增长收口);monitoring spec §5.1/§5.2/§5.3-④/§5.4/§5.5-④/§7.6/§12 随码(C-A1 universe 异常实串/C-A2 签名表勘正补 Expecting value/C-A6 disk 阈值表述+锚点行数刷新) [vps] [nas]
2026-10-05 15:54:13 +08:00
promote.sh
retire(web): sanguo_web legacy 平行后端归档——用户拍板「代码保留归档,服务删」 [nas]
2026-10-01 09:46:21 +08:00
push_vps_mirror_daily.sh
feat(nas): NAS 监控 v2(corpus/dmsk/hot_rank/mirror/xcheck/磁盘六族检查,host=nas 事件 scp 推 VPS inbox,挂 vps-mirror 16:00 班尾,spec §20.15) [nas]
2026-09-25 23:06:15 +08:00
run_5m_standalone.sh
fix(nas): run_5m 一次性容器加 --no-healthcheck,根除 unhealthy 误报 [nas]
2026-09-07 12:33:18 +08:00
run_corpus_standalone.sh
fix(data): 漏斗族七修(审计 P1-1/2/3+P2-14/15/16+P3-21/24)——水位随commit边界(崩溃窗口事件不蒸发)+main兜底emergency落盘rc=1; --limit循环顶budget_exhausted真截断(假开关); llm-cap改每夜新鲜总量+candidates_dropped(逐日×逐域截断溢出永久丢); rc优先级checkpoint>噪声失败; 否定守卫4字窗contains+被拦命中降级LLM候选(已终止的质押类confidence=1.0反向落库); 生产接线补--token-budget 3M; events_in先于调用入册+_dump_raw_fail死码删; llm_calls勘误lane未跑归零(10-04生产误报58实0); fusion spec §20.16台账 [nas]
2026-10-05 09:15:58 +08:00
run_dmsk_standalone.sh
feat(data_platform): xcheck 跨 vendor 对账域上线(spec §20.12.4 终版,对照类实施)——时机=写后即照两档(事件驱动主档挂 wash/corpus 班车+漂移兜底档 Phase 2b);内容=四层漏斗(键完整性→NOTICE_DATE 披露日→估值数值[qt 字段位 vs valuation_baostock peTTM/pbMRQ,阈值 0.1%/1% 分档]→分布漂移缓后)+按需收窄;结果五级路由 L0 静默/L1 舍入档案/L2 报警 suspect/L3 多数派仲裁写 wash pending[XCHECK_L3_AUTO 默认关]/L4 人工;可追溯=findings 每行内嵌三方原值证据快照+trace_id xc-YYYYMMDD-NNNN 贯穿发现→仲裁→重洗→复验+根因分类学七类+报告 tmp+rename 原子+--dry-run;两 lane 接线:corpus_side 挂 run_corpus 尾(ann_em 拉取+qt 快照),fund_side 挂 run_dmsk 尾(读 wash manifests 命中股+新浪三表近12期+两源 NOTICE_DATE 本地对照);xcheck 不推 VPS(NAS 侧质检设施);TDD 19 例全套 484 绿 [nas]
2026-09-22 08:38:37 +08:00
run_factor_monthly_standalone.sh
fix(factor): verdict_replay 补挂月度批评同班车——双 runner 加 stage(设计即同班车,runner 漏挂致 10-04 首班只在 VPS 手跑过一次;派生件不进 final rc;NAS 用 /app/data 运行副本注册表) [vps] [no-doc]
2026-10-05 08:11:01 +08:00
run_hot_rank_nas.sh
fix(data): run_hot_rank_nas 推送用户名勘误(admin→Administrator,vps-mirror 同款;首跑 Permission denied 实锤后修,重跑全链绿=当日 0925 缺口当场补齐 100 行) [nas]
2026-09-25 21:54:00 +08:00
run_monitor_nas.sh
fix(monitor): 监控班次二 P2 批——D-5 db_sample 日历不可达去 fail-open(样本可读弱检/库不可达黄)+D-6 month_bucket 损坏件 rows=None 黄(对齐 per_date)+D-8 check_disk 阈值参数化消费注册表 warn_gb/crit_gb(旧硬编码 8/20=改表不改行为校准陷阱,crit_gb 全仓无消费)+D-9 vintage/NAS ts fromisoformat 捕 TypeError+D-10 db_sample close 进 finally+AL-1 upsert 更新 severity(同日黄→红升级即时落表,旧 UPDATE 不动=次日新 id 才纠正)+purge 收口 MON-202610-04(open 黄改 last_seen 28d=活着不删,旧 first_seen 14d 硬删无声抹持续黄+断 count 升级链;resolved 统一 30d,open 红永不删)+N-1 run_monitor_nas.sh rc 先存后拼($(date) 同词先展开重置 $?=exit 恒 0,rc 隔离下 NAS 崩溃唯一现场线索)+N-2 NAS 日历豁免短期方案(last_weekday 接休市表镜像+CI 同步测钉与 monitor_registry 相等=7f9b413 镜像纪律;10-06 旧码会把 10-05 假日当昨交易日;corpus 34h 日历日节奏实证无需豁免)+P3 归因([FATAL] 级别标记不当类型归 _global,scan_signatures 注记 test-only 勿接线)+T-2 NAS red 分支(hot_rank 文件缺)测试补缺+migration_logs 保洁(data_monitor_wrapper 双班剪 14d 前旧件,13 wrapper 无限增长收口);monitoring spec §5.1/§5.2/§5.3-④/§5.4/§5.5-④/§7.6/§12 随码(C-A1 universe 异常实串/C-A2 签名表勘正补 Expecting value/C-A6 disk 阈值表述+锚点行数刷新) [vps] [nas]
2026-10-05 15:54:13 +08:00
sync_dbbardata.sh
fix(nas_sync): 03:00 链执行位勘误+双修落地+反向漂移收编(runbook §7.4)——①执行位勘误:runbook 原登记 homes/admin 为部署位,实证 DSM id=2 root 班实跑 /volume1/stock/sanguo_vnpy_v2/scripts/nas_sync/(03:00 连续两晚 91 attempts=13类×7天=旧版行为,homes/admin 已 18 类);09-17 的 TYPES 18类(
e0f5730
)+index_const_hist(
f280124
)只落 repo 未 scp 执行位→NAS margin 停 0911/nb_daily 0911/hot_rank 0908 而 VPS 已回补 0914-0916,今晨已 scp 两脚本到执行位,今夜 03:00 全量追平 ②反向漂移收编:执行位 sync_dbbardata 尾部带 Jul31/Aug01 两段 NAS 本地热修钩子(sync_parquet_daily+sync_valuation_daily)从未进 repo,若按旧登记推 repo 版会静默停跑两段日同步——钩子收编进 repo,五 .sh diff 全 SAME ③防漂移检查入 runbook:改 nas_sync 后必须 scp -O 全量+逐个 diff SAME 收口 [nas]
2026-09-18 08:08:30 +08:00
sync_parquet_daily.sh
feat(ak): §20.13 因子P1三新域采集落地——pledge_ratio per-Friday快照(20210108起,未发布周五failed不写marker次周自愈)+pledge_detail RPTA_APP_ACCUMDETAILS月桶全量(12.7万行254页走fetch_em_dc_pages节流通道防§15.3红线,MXID去重防页边界漂移,raw白捡IS_CONTROL_SHAREHOLDER)+research_report PER_WEEK周窗(reportapi直连薄客户端1s节流,anchor=周五窗=周一..五,EM空值转None防pyarrow混型炸);调度=ak-weekly周六班追加两独立命令不带--force;sync=listing段三域skip-if-exists(周五锚滞后任意天必追上,同gdhs/nb_hold先例);TDD 20例+Mac冒烟双绿(pledge 2212行/研报103行51列原生直存目标价带值) 504全绿 [vps]
2026-09-22 10:21:47 +08:00
sync_parquet_resumable.sh
feat(nas_sync): parquet 断点续传脚本(逐文件scp+NAS size校验跳过,治VPS无rsync) [nas]
2026-08-12 08:45:24 +08:00
sync_parquet.sh
fix(nas): sync_parquet.sh加互斥锁防周日双触发撕损——DSM id=6(周日04:00)当年配置即跑本脚本全量但从未实证(无parquet.log,当时标注待用户DSM UI确认命令),08-21又挂了sync_valuation_daily.sh周日钩子(~03:3x)同一脚本,两路若同日都触发=双scp -r并发写同文件撕损parquet;mkdir原子锁+>6h陈旧覆盖(单跑70min远不到)+trap EXIT清理,哪路先到哪路跑,后到skip留痕 [nas]
2026-08-21 23:18:06 +08:00
sync_tables.sh
feat(nas_sync): 小表全量同步管线(constituent_unified+bs_adjust_factor)
2026-07-31 08:18:36 +08:00
sync_valuation_daily.sh
docs(spec): §20.10 数据面全景定稿——13 条活跃管线清单(VPS 夜班 9+NAS 晨班 4+周日全量)/归属体量总表/口径四原则(用户 09-17 拍板:VPS 采→NAS 必同步铁律,LLM=cfdaily 忽略,分钟线+归档搁置,消费不跨机)/半截文件防线(margin 0911 根因链闭环+新代码语义)/已知问题登记簿;本节自此为数据面唯一权威查询入口不再探针回溯;附 index_const_hist 补入 sync_valuation_daily 根级段(统一铁律首例,44 文件整文件重写月更) [nas]
2026-09-17 20:02:18 +08:00
vps_mirror_lib.py
feat(data_platform): corpus flash_meta 全市场快讯域上线(spec §20.12.3 补充类采纳)——金十 flash_newest.js 快照+东财 kuaixun 翻页(T-1 边界停界,20页硬顶)两源,与 news_meta 个股新闻语义并列不 join;flash_id=源前缀+源站稳定id跨源命名空间隔离,当日marker幂等,源级隔离单源失败不炸另一源;run_corpus.sh 第三lane rc隔离不进聚合(两主lane全让路也不漏当天快讯);镜像车 corpus 四子域扩五(新域指纹全新首跑自动全量推);corpus_reader.get_flash 空df带schema;TDD +13例全套465绿;Mac真网络冒烟=金十50+东财884新,21s完赛,dt跨度T-1边界实证,幂等复跑零请求;首班锚点=次日06:0x flash lane exit=0行 [nas]
2026-09-22 08:17:14 +08:00
vps_restart_resident.sh
fix(live): 部署滚动重启QMT会话竞态根治双层——P1 runner_live connect退避重试5×10s(08-30实录live_17/20重拉后connect=-1整引擎退出静默缺仓,会话回收秒级重试即免疫,失败清理QmtBroker自带重试安全)+P0 重启脚本杀后等30s会话回收+引擎数核验追平杀前DB期望追不平exit 1红灯(vps_count_engines.py经promote部署,expected须杀前取);VPS实测双模式6/6;全量1359绿 [vps]
2026-08-30 12:46:48 +08:00
vps_update_dist.py
ci(vps-deploy): 纳入前端dist同步+API重启(治公网前端无管线手动步骤): Mac构建+tar+scp→VPS换dist(脚本入仓scripts/nas_sync,vps_update_dist.py); 重启加端口释放等待(防end→run竞态10048静默崩,今日实踩)+起服探活(上限10min) [nas]
2026-08-14 10:06:54 +08:00