claude_dev 564160db11 fix(data): margin_sse 拆 T-1~T 两天窗——巡查实锤 SSE 融资融券 T+1 供应,当晚拉当天结构性永败 43 天(用户批准结构修) [vps] ...

07-22 起慢性失血实锤: margin_sse 最后非空文件 20260721,之后 30 个交易日
全被旧码标成 空文件+done 锁死(每晚 19:30 拉当天,SSE 当日数据未发布→
空响应→akshare Length mismatch 崩→旧码转 empty 落盘+marker)。

已处置(同批): --force 回补 20260722~20260901 全区间 30/30 ok 59865 行;
本 commit=结构根治: wrapper 把 margin_sse 从 13 类当日批拆出,单独
--start T-1 --end T 两天窗——每晚稳定写昨日(数据已发布),当天失败不写
不标(新语义),次晚同窗自动重试补上,单晚漏跑自愈;两段 exit code 合并
任一非零即非零。0902 今晨已过 19:30,明晚首验(写 0902+0903)。

生效位=VPS scripts(手动 scp,CI 不覆盖 VPS)。

2026-09-02 22:47:21 +08:00

..

_archive

docs(data): Phase2 归档旧回填/import链+15m灌库链(VPS schtask实证线头死)

2026-07-29 11:56:44 +08:00

legacy_tasks

chore(data): 23个VPS schtask XML备份入库(scripts/data_platform/legacy_tasks/)——2026-08-20数据任务重组删改前置铁律:删前XML备份;含①改名5对旧任务(sanguo-xt-eod/idx-eod/index/ak-stock/ak-quarter→源_频率命名,Actions/Triggers已验逐字一致)②将删的sanguo-bs-eod/bs-fund(bs合并手术用,bs-eod XML即sanguo-bs-daily克隆母版)③14残留(全部last-run≤2026-07-22已核验,breakdown:任务清单原写sanguo-daily-increment实为sanguo-bs-daily-increment真名已纠正)④ak-eod/ak-events现役快照(明天ak-eod改名用) [vps]

2026-08-20 19:58:24 +08:00

ak_eod_wrapper.ps1

feat(data): akshare 低频 5 schtask wrapper+register+verify(spec §14.5 A+B/C)

2026-07-23 09:04:01 +08:00

ak_events_wrapper.ps1

fix(data): margin_sse 拆 T-1~T 两天窗——巡查实锤 SSE 融资融券 T+1 供应,当晚拉当天结构性永败 43 天(用户批准结构修) [vps]

2026-09-02 22:47:21 +08:00

ak_quarter_wrapper.ps1

feat(data): 静态表调度挪周末+vintage盘前自检——③sanguo-ak-quarter月内1号02:00改财报月首个周六02:00(/d SAT,周六02:00→周一09:30有55h跑道;旧排程7.5h夜窗连单表8h都装不下,09-01注册后首爆16h+穿整个交易日,09:32决策窗撞balance(94%Q2'26)/income(0%)vintage撕裂致value ROE归零清仓;月内1-4号读旧但一致,策略配对修复侧兼容)④新增static_vintage_check.py每日09:00自检:三报表最大报告期+覆盖率盘点(REPORT_DATE列裁剪扫描),跨表撕裂/估值断更(>48h)告警exit 3,原子落vintage_status.json供策略盘前预判(策略session协作契约);register加sanguo-ak-vintage+新wrapper;+8测试 [vps]

2026-09-01 19:03:53 +08:00

ak_stock_wrapper.ps1

feat(data): A档全量落地——热度三件+股东户数收尾(用户批「按此方式实施,nas验证后推vps」);①xueqiu_hot雪球5633行+sina_sector新浪行业49行对账源进ak-events 19:30(同款快照语义)②hot_rank东财人气榜fetcher/注册先行,wrapper挂载留待恢复窗测量拍板(墙未定论不带不确定单元上线防缺日告警噪音)③gdhs股东户数进ak-weekly周六窗=per-period新形状:build_gdhs_units只枚举距今>90天季度末(披露守卫,防未披露期拉空走真空+done语义被marker锁死永不重拉的09-02设计坑),单次全市场5342行,marker去重无新期零网络;vintage缺日名单+2快照族(hot_rank留位);+6测试(注册/None/df契约/gdhs守卫两形态/缺日名单)215全绿 [vps]

2026-09-02 09:16:14 +08:00

ak_vintage_wrapper.ps1

feat(data): 静态表调度挪周末+vintage盘前自检——③sanguo-ak-quarter月内1号02:00改财报月首个周六02:00(/d SAT,周六02:00→周一09:30有55h跑道;旧排程7.5h夜窗连单表8h都装不下,09-01注册后首爆16h+穿整个交易日,09:32决策窗撞balance(94%Q2'26)/income(0%)vintage撕裂致value ROE归零清仓;月内1-4号读旧但一致,策略配对修复侧兼容)④新增static_vintage_check.py每日09:00自检:三报表最大报告期+覆盖率盘点(REPORT_DATE列裁剪扫描),跨表撕裂/估值断更(>48h)告警exit 3,原子落vintage_status.json供策略盘前预判(策略session协作契约);register加sanguo-ak-vintage+新wrapper;+8测试 [vps]

2026-09-01 19:03:53 +08:00

akshare_static_download.py

feat(data): A档全量落地——热度三件+股东户数收尾(用户批「按此方式实施,nas验证后推vps」);①xueqiu_hot雪球5633行+sina_sector新浪行业49行对账源进ak-events 19:30(同款快照语义)②hot_rank东财人气榜fetcher/注册先行,wrapper挂载留待恢复窗测量拍板(墙未定论不带不确定单元上线防缺日告警噪音)③gdhs股东户数进ak-weekly周六窗=per-period新形状:build_gdhs_units只枚举距今>90天季度末(披露守卫,防未披露期拉空走真空+done语义被marker锁死永不重拉的09-02设计坑),单次全市场5342行,marker去重无新期零网络;vintage缺日名单+2快照族(hot_rank留位);+6测试(注册/None/df契约/gdhs守卫两形态/缺日名单)215全绿 [vps]

2026-09-02 09:16:14 +08:00

audit_data_layout.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

backup_db.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

bs_5m_eod.py

fix(nas): bs_5m失败股尾部补扫一轮——03:0x同步链持写锁60s busy_timeout耗尽database is locked(每晚1-5只)+偶发网络错(600247),原形态=该片窗口永久小洞;修=_sweep返failed清单,run尾部(07:40+同步链早已收工)chunk/inc各自失败集各补扫一轮自愈,补扫query计入swept配额、rlr并入exit语义;+2测试(双窗口失败→双retry=6调用自愈/零失败无retry回归);venv310 644绿 [nas]

2026-08-25 21:32:28 +08:00

bs_daily_main.py

feat(data): sanguo-bs-daily单入口串行编排(bs_eod→bs_fundamentals)——2026-08-20数据任务重组阶段1:根治当日撞点(bs_eod加指数段后ETA 23:00+与旧23:05 bs-fund重叠=同IP双baostock连接封禁红线),合并进同一schtask两腿先后子进程,leg1进程退出(logout+消亡)连接才释放leg2才login;bs_daily_main只做顺序+退出码透传({0,3}=OK,3=按预算graceful不算失败)+[BS-DAILY]腿起止时间线日志(验收'eod logout后fund才login'直接证据);leg2无条件跑(leg1致命不连坐,连接已释放fund独立作业);wrapper传BS_DAILY_LIMIT=15000收紧eod病态重试硬顶(常态~11.1k不受影响,与fund30000合计≤45.1k<48k/IP/天);--smoke零配额链路自检;bs_fundamentals._bs_eod_running补注释:旧任务名已删探测必失败fail-open=设计行为勿修复(探新名会探到父任务永久让路);+15测试(顺序铁律/leg2无条件/退出码聚合9组合/smoke零子进程) [vps]

2026-08-20 19:49:00 +08:00

bs_daily_wrapper.ps1

feat(data): sanguo-bs-daily单入口串行编排(bs_eod→bs_fundamentals)——2026-08-20数据任务重组阶段1:根治当日撞点(bs_eod加指数段后ETA 23:00+与旧23:05 bs-fund重叠=同IP双baostock连接封禁红线),合并进同一schtask两腿先后子进程,leg1进程退出(logout+消亡)连接才释放leg2才login;bs_daily_main只做顺序+退出码透传({0,3}=OK,3=按预算graceful不算失败)+[BS-DAILY]腿起止时间线日志(验收'eod logout后fund才login'直接证据);leg2无条件跑(leg1致命不连坐,连接已释放fund独立作业);wrapper传BS_DAILY_LIMIT=15000收紧eod病态重试硬顶(常态~11.1k不受影响,与fund30000合计≤45.1k<48k/IP/天);--smoke零配额链路自检;bs_fundamentals._bs_eod_running补注释:旧任务名已删探测必失败fail-open=设计行为勿修复(探新名会探到父任务永久让路);+15测试(顺序铁律/leg2无条件/退出码聚合9组合/smoke零子进程) [vps]

2026-08-20 19:49:00 +08:00

bs_eod_wrapper.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

bs_eod.py

fix(data): bs_eod挂死根治——login/logout纳入_with_timeout保护伞+中文系统运行判定三词修正。①根因(08-20 19:26实锤,日志形态逐字吻合):bs.login()打印success后仍有后续往返,baostock recv不遵守socket default timeout,主线程卡死在login内部recv(50min+零输出,连60s超时err都没有);fetch早已套_with_timeout但login/logout是裸调——relogin/login_once全部纳入(login60s/logout30s),超时按登录失败处理走既有重试链;②bs_fundamentals._is_running_text:中文系统实际输出「正在运行」不含连续子串「运行中」,原两词判定在中文VPS恒False=守卫恒fail-open(当晚若不禁用bs-fund将真撞车);三词都认+回归钉测试;③check_task_running.py通用探针(修复版)替换VPS上带同bug的check_bs_eod.py;+4测试(登录超时返False/relogin全程超时不raise/login与logout必经保护伞契约/正在运行判定) [vps]

2026-08-20 20:04:51 +08:00

bs_fund_wrapper.ps1

chore(data): bs_fund_wrapper.ps1——sanguo-bs-fund schtask 23:05 wrapper(镜像 bs_eod_wrapper:清代理直连铁律+迁移日志目录+退出码透传),跑 baostock 季频财务+业绩报告(bs_fundamentals.py,数据session P1+P2+P3);wrapper 随本commit进repo,schtask 当场在VPS建(23:05,SYSTEM/HIGHEST,同bs-eod参数),run707已部署脚本本体 [vps]

2026-08-20 12:58:20 +08:00

bs_fundamentals.py

fix(data): bs_eod挂死根治——login/logout纳入_with_timeout保护伞+中文系统运行判定三词修正。①根因(08-20 19:26实锤,日志形态逐字吻合):bs.login()打印success后仍有后续往返,baostock recv不遵守socket default timeout,主线程卡死在login内部recv(50min+零输出,连60s超时err都没有);fetch早已套_with_timeout但login/logout是裸调——relogin/login_once全部纳入(login60s/logout30s),超时按登录失败处理走既有重试链;②bs_fundamentals._is_running_text:中文系统实际输出「正在运行」不含连续子串「运行中」,原两词判定在中文VPS恒False=守卫恒fail-open(当晚若不禁用bs-fund将真撞车);三词都认+回归钉测试;③check_task_running.py通用探针(修复版)替换VPS上带同bug的check_bs_eod.py;+4测试(登录超时返False/relogin全程超时不raise/login与logout必经保护伞契约/正在运行判定) [vps]

2026-08-20 20:04:51 +08:00

check_schtask_runs.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

check_task_running.py

fix(data): bs_eod挂死根治——login/logout纳入_with_timeout保护伞+中文系统运行判定三词修正。①根因(08-20 19:26实锤,日志形态逐字吻合):bs.login()打印success后仍有后续往返,baostock recv不遵守socket default timeout,主线程卡死在login内部recv(50min+零输出,连60s超时err都没有);fetch早已套_with_timeout但login/logout是裸调——relogin/login_once全部纳入(login60s/logout30s),超时按登录失败处理走既有重试链;②bs_fundamentals._is_running_text:中文系统实际输出「正在运行」不含连续子串「运行中」,原两词判定在中文VPS恒False=守卫恒fail-open(当晚若不禁用bs-fund将真撞车);三词都认+回归钉测试;③check_task_running.py通用探针(修复版)替换VPS上带同bug的check_bs_eod.py;+4测试(登录超时返False/relogin全程超时不raise/login与logout必经保护伞契约/正在运行判定) [vps]

2026-08-20 20:04:51 +08:00

cleanup_staging.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

daily_update_static.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

daily_update_xtdata.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

dbbardata_utils.py

fix(data): dbbardata 日线双行根治(统一纯日期+helper,留ROWID max去重)

2026-07-23 12:18:41 +08:00

fix_vps_config.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

index_const_hist_download.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

index_monthly_wrapper.ps1

feat(data): 中证指数日线点位修股票/指数同名碰撞 + 行业治偏差 section 名校正/增量接线

2026-07-28 21:54:46 +08:00

kill_backup_only.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

kill_backup_verify.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

merge_constituent.py

fix(data): 成份股 merge/migrate pipeline 可重跑(idempotent, 读 bs_index_constituent_old)

2026-07-23 09:04:00 +08:00

merge_increment.py

fix(data): data_platform硬化(增量merge/verify+raw_redownload/run_daily_update)+测试

2026-07-15 07:12:46 +08:00

merge_staging_to_data.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

migrate_constituent.py

feat(data): 补 000985 中证全指 + 中证800十行业成份股入 constituent_unified (G1+G2)

2026-07-28 20:36:11 +08:00

parse_csindex_announce.py

fix(data): constituent_unified中证1000(000852)全0修复+current锚点三重防线——000852的1233条成分全in_current=0(因子池端点显示0只);根因=08-16 idx-monthly STEP0的fetch_akshare_current(000852)瞬时网络失败被「非致命warning」吞→announce_union重写丢current锚点→migrate全标was_removed,而snapshot兜底对两指数均为csindex超时placeholder从未起作用;数据修复(已执行)=akshare现拉1000只append进announce_union+正规migrate/merge重建,VPS主库1673条cur=1000精确达标,全21指数diff仅000852,NAS sync_tables已同步同态,全0扫描为空;代码防线=①fetch重试3次②空解析raise大声(列定位失败不再静默返空)③_carry_forward_current失败时沿用旧parquet current行锚点只增不丢(000852/932000两块接线);6新测试钉死三防线 [vps]

2026-08-30 12:49:13 +08:00

register_akshare_schtasks.ps1

fix(data): register脚本对齐VPS现场命名+ak-monthly改XML注册——09-01晚实测暴露脚本漂移:08-20 schtask重组已改名ak-daily/ak-monthly/ak-weekly(wrapper不变)但本脚本没跟上,重跑旧脚本=拿过期地图改现场:①复活与ak-weekly完全重复的ak-stock(同wrapper同周六03:00会双开并发,已现场删除)②ak-quarter行「/m月份列表+/d SAT」在zh-CN schtasks报「/D选项无效」根本没注册上;修=①任务名对齐现场六件套(daily19:00/events19:30/weekly周六03:00/monthly首周六02:00/vintage09:00/index16号19:50)②monthly改嵌XML(ScheduleByMonthDayOfWeek Weeks=1 Saturday,Out-File Unicode+Schtasks /create /xml,绕开zh-CN星期名限制)③头注释记命名史+事故链防重演;现场已同款修完(ak-monthly next=9/5首周六,顺带周末全规模预演新代码) [vps]

2026-09-01 20:49:35 +08:00

register_schtasks.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

sina_index_eod_wrapper.ps1

feat(data): 中证指数日线点位修股票/指数同名碰撞 + 行业治偏差 section 名校正/增量接线

2026-07-28 21:54:46 +08:00

sina_index_eod.py

fix(idx-eod): 000300 沪深300 加入 CODES，补 7-16→7-31 数据

2026-08-01 08:00:36 +08:00

static_vintage_check.py

feat(data): A档全量落地——热度三件+股东户数收尾(用户批「按此方式实施,nas验证后推vps」);①xueqiu_hot雪球5633行+sina_sector新浪行业49行对账源进ak-events 19:30(同款快照语义)②hot_rank东财人气榜fetcher/注册先行,wrapper挂载留待恢复窗测量拍板(墙未定论不带不确定单元上线防缺日告警噪音)③gdhs股东户数进ak-weekly周六窗=per-period新形状:build_gdhs_units只枚举距今>90天季度末(披露守卫,防未披露期拉空走真空+done语义被marker锁死永不重拉的09-02设计坑),单次全市场5342行,marker去重无新期零网络;vintage缺日名单+2快照族(hot_rank留位);+6测试(注册/None/df契约/gdhs守卫两形态/缺日名单)215全绿 [vps]

2026-09-02 09:16:14 +08:00

stop_all_data_schtasks.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

updater.py

feat(data): v2 数据下载(SSH模式 STOCK_MOUNT+rsync) + launchd定时 + 文档

2026-07-07 19:41:07 +08:00

validate_import.py

feat(data): 全市场5m/15m下载+灌库+每日增量链

2026-07-18 18:45:24 +08:00

validator.py

feat(data): v2 数据下载(SSH模式 STOCK_MOUNT+rsync) + launchd定时 + 文档

2026-07-07 19:41:07 +08:00

verify_akshare_e2e.py

fix(data): verify_akshare_e2e 修正事件类路径(data/static/<type> 非 events/)

2026-07-23 09:06:00 +08:00

verify_backup.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

verify_config.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

verify_delisted_in_db.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

verify_e2e.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

verify_etf_data.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

verify_etf_staging.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

verify_increment.py

fix(data): data_platform硬化(增量merge/verify+raw_redownload/run_daily_update)+测试

2026-07-15 07:12:46 +08:00

verify_unified_e2e.py

feat(portfolio): LocalUnifiedProvider spec §6 使用层落地 + VPS E2E(Task6)

2026-07-23 08:25:44 +08:00

xt_eod_wrapper.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

xt_eod.py

feat(data): xt_eod 扩展补全北交所 920xxx 日线(exc_of+universe+import容错,复用×100 normalize)

2026-07-27 20:56:16 +08:00