claude_dev efcdc8d8e0 fix(data): 分区改多 part 追加写+批量提交,根治 day-1 O(n²) 劣化 [nas] ...

09-07 首跑实锤: append_parquet 每 unit 整读整写当日唯一 part-0, news 段
13万+行后 5.3s/股(应1.15s)且随行数恶化,10:30 墙钟必跑不完且逐日更糟。
修(两层):
- DayBuffer: 当日新行内存缓冲→flush 落新 part-N.parquet(只写新行,
  旧数据永不重写);id 去重职责收敛到调用方(账本+近窗双层,原就存在)
- Ctx 批量提交: unit_done 延后 marker 入批,每 FLUSH_EVERY unit 一次
  commit=数据→账本→marker 依次落盘(崩溃=整批重拉,绝不产生
  marker-done-但数据缺的洞);run_lane 段首清缓冲/finally 兜底 commit
- ③全文回补 known 检查补近窗兜底(账本 flush 崩溃窗防重)
- readers 全改 part-* glob(RecentIndex/_iter_partitions/verify_corpus)
- 测试 54:新增 多part语义/flush崩溃一致性/批量提交次序 三钉

2026-09-07 07:12:48 +08:00

..

_archive

docs(data): Phase2 归档旧回填/import链+15m灌库链(VPS schtask实证线头死)

2026-07-29 11:56:44 +08:00

legacy_tasks

chore(data): 23个VPS schtask XML备份入库(scripts/data_platform/legacy_tasks/)——2026-08-20数据任务重组删改前置铁律:删前XML备份;含①改名5对旧任务(sanguo-xt-eod/idx-eod/index/ak-stock/ak-quarter→源_频率命名,Actions/Triggers已验逐字一致)②将删的sanguo-bs-eod/bs-fund(bs合并手术用,bs-eod XML即sanguo-bs-daily克隆母版)③14残留(全部last-run≤2026-07-22已核验,breakdown:任务清单原写sanguo-daily-increment实为sanguo-bs-daily-increment真名已纠正)④ak-eod/ak-events现役快照(明天ak-eod改名用) [vps]

2026-08-20 19:58:24 +08:00

ak_eod_wrapper.ps1

feat(data): akshare 低频 5 schtask wrapper+register+verify(spec §14.5 A+B/C)

2026-07-23 09:04:01 +08:00

ak_events_wrapper.ps1

feat(data): hot_rank 挂载+wrapper 时间守卫 [vps]——墙测量5轮收官用户拍板方案A:emappdata 夜间开窗(22:28 实测 OK,晨午4轮全 FAIL),19:30 档失败零连带(单 unit 失败不触断路器 rc 仍 0,不写不标次夜自愈),首夜起 gap_check 即免费持续测量;三处同步=wrapper --types+PANEL_TYPES+EVENT_PANEL_TYPES(15类),零文件=零告警首日成功即成基线;时间守卫=param -Force+非 19:00-23:59 拒绝执行留痕 guard.log(治盘前手动误跑两犯:09-02 08:08/09-04 08:00,盘前拉当日=昨日态错标+marker 锁死当晚真数据);TDD 2 测翻新(白名单拒→放行+注册断言)先红后绿+806 全绿;VPS Parse 预检过+双脚本已 scp 生效位+wall_probe.py 已删 [vps]

2026-09-04 18:46:46 +08:00

ak_quarter_wrapper.ps1

feat(data): 静态表调度挪周末+vintage盘前自检——③sanguo-ak-quarter月内1号02:00改财报月首个周六02:00(/d SAT,周六02:00→周一09:30有55h跑道;旧排程7.5h夜窗连单表8h都装不下,09-01注册后首爆16h+穿整个交易日,09:32决策窗撞balance(94%Q2'26)/income(0%)vintage撕裂致value ROE归零清仓;月内1-4号读旧但一致,策略配对修复侧兼容)④新增static_vintage_check.py每日09:00自检:三报表最大报告期+覆盖率盘点(REPORT_DATE列裁剪扫描),跨表撕裂/估值断更(>48h)告警exit 3,原子落vintage_status.json供策略盘前预判(策略session协作契约);register加sanguo-ak-vintage+新wrapper;+8测试 [vps]

2026-09-01 19:03:53 +08:00

ak_stock_wrapper.ps1

fix(data): ak-weekly 断路器饿死修复=_safe_northbound_em+类型调序 [vps]——09-05 03:00 首跑 rc=2 根因:akshare stock_hsgt_individual_em 对无北向数据标的(~1117/2883,301xxx 等)在 data_json[result][pages] 抛 TypeError NoneType not subscriptable→failed→30 连败断路器→跳过后续类型,share_capital/top_holders/gdhs 全饿死(gdhs 目录至今不存在);端点健康(600519 返 1683 行,09-06 晨复测);修=①_safe_northbound_em 子串匹配 not subscriptable 返空 df 带 9 列 schema→走无北向持仓 empty 写空+done 既定语义不耗重试/断路器(同 _safe_top_10_em 手法)②weekly wrapper 调序 gdhs,share_capital,top_holders,northbound 最大最险者殿后防再连累③顺手 BOM;TDD 2 新测先红后绿+217 全绿;双脚本已 scp 生效位+Parse/py_compile 预检过;gdhs 手动补跑另行 [vps]

2026-09-06 08:29:58 +08:00

ak_vintage_wrapper.ps1

feat(data): 静态表调度挪周末+vintage盘前自检——③sanguo-ak-quarter月内1号02:00改财报月首个周六02:00(/d SAT,周六02:00→周一09:30有55h跑道;旧排程7.5h夜窗连单表8h都装不下,09-01注册后首爆16h+穿整个交易日,09:32决策窗撞balance(94%Q2'26)/income(0%)vintage撕裂致value ROE归零清仓;月内1-4号读旧但一致,策略配对修复侧兼容)④新增static_vintage_check.py每日09:00自检:三报表最大报告期+覆盖率盘点(REPORT_DATE列裁剪扫描),跨表撕裂/估值断更(>48h)告警exit 3,原子落vintage_status.json供策略盘前预判(策略session协作契约);register加sanguo-ak-vintage+新wrapper;+8测试 [vps]

2026-09-01 19:03:53 +08:00

akshare_static_download.py

fix(data): ak-weekly 断路器饿死修复=_safe_northbound_em+类型调序 [vps]——09-05 03:00 首跑 rc=2 根因:akshare stock_hsgt_individual_em 对无北向数据标的(~1117/2883,301xxx 等)在 data_json[result][pages] 抛 TypeError NoneType not subscriptable→failed→30 连败断路器→跳过后续类型,share_capital/top_holders/gdhs 全饿死(gdhs 目录至今不存在);端点健康(600519 返 1683 行,09-06 晨复测);修=①_safe_northbound_em 子串匹配 not subscriptable 返空 df 带 9 列 schema→走无北向持仓 empty 写空+done 既定语义不耗重试/断路器(同 _safe_top_10_em 手法)②weekly wrapper 调序 gdhs,share_capital,top_holders,northbound 最大最险者殿后防再连累③顺手 BOM;TDD 2 新测先红后绿+217 全绿;双脚本已 scp 生效位+Parse/py_compile 预检过;gdhs 手动补跑另行 [vps]

2026-09-06 08:29:58 +08:00

audit_data_layout.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

backup_db.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

bs_5m_eod.py

fix(nas): bs_5m失败股尾部补扫一轮——03:0x同步链持写锁60s busy_timeout耗尽database is locked(每晚1-5只)+偶发网络错(600247),原形态=该片窗口永久小洞;修=_sweep返failed清单,run尾部(07:40+同步链早已收工)chunk/inc各自失败集各补扫一轮自愈,补扫query计入swept配额、rlr并入exit语义;+2测试(双窗口失败→双retry=6调用自愈/零失败无retry回归);venv310 644绿 [nas]

2026-08-25 21:32:28 +08:00

bs_daily_main.py

feat(data): sanguo-bs-daily单入口串行编排(bs_eod→bs_fundamentals)——2026-08-20数据任务重组阶段1:根治当日撞点(bs_eod加指数段后ETA 23:00+与旧23:05 bs-fund重叠=同IP双baostock连接封禁红线),合并进同一schtask两腿先后子进程,leg1进程退出(logout+消亡)连接才释放leg2才login;bs_daily_main只做顺序+退出码透传({0,3}=OK,3=按预算graceful不算失败)+[BS-DAILY]腿起止时间线日志(验收'eod logout后fund才login'直接证据);leg2无条件跑(leg1致命不连坐,连接已释放fund独立作业);wrapper传BS_DAILY_LIMIT=15000收紧eod病态重试硬顶(常态~11.1k不受影响,与fund30000合计≤45.1k<48k/IP/天);--smoke零配额链路自检;bs_fundamentals._bs_eod_running补注释:旧任务名已删探测必失败fail-open=设计行为勿修复(探新名会探到父任务永久让路);+15测试(顺序铁律/leg2无条件/退出码聚合9组合/smoke零子进程) [vps]

2026-08-20 19:49:00 +08:00

bs_daily_wrapper.ps1

feat(data): sanguo-bs-daily单入口串行编排(bs_eod→bs_fundamentals)——2026-08-20数据任务重组阶段1:根治当日撞点(bs_eod加指数段后ETA 23:00+与旧23:05 bs-fund重叠=同IP双baostock连接封禁红线),合并进同一schtask两腿先后子进程,leg1进程退出(logout+消亡)连接才释放leg2才login;bs_daily_main只做顺序+退出码透传({0,3}=OK,3=按预算graceful不算失败)+[BS-DAILY]腿起止时间线日志(验收'eod logout后fund才login'直接证据);leg2无条件跑(leg1致命不连坐,连接已释放fund独立作业);wrapper传BS_DAILY_LIMIT=15000收紧eod病态重试硬顶(常态~11.1k不受影响,与fund30000合计≤45.1k<48k/IP/天);--smoke零配额链路自检;bs_fundamentals._bs_eod_running补注释:旧任务名已删探测必失败fail-open=设计行为勿修复(探新名会探到父任务永久让路);+15测试(顺序铁律/leg2无条件/退出码聚合9组合/smoke零子进程) [vps]

2026-08-20 19:49:00 +08:00

bs_eod_wrapper.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

bs_eod.py

fix(data): bs_eod挂死根治——login/logout纳入_with_timeout保护伞+中文系统运行判定三词修正。①根因(08-20 19:26实锤,日志形态逐字吻合):bs.login()打印success后仍有后续往返,baostock recv不遵守socket default timeout,主线程卡死在login内部recv(50min+零输出,连60s超时err都没有);fetch早已套_with_timeout但login/logout是裸调——relogin/login_once全部纳入(login60s/logout30s),超时按登录失败处理走既有重试链;②bs_fundamentals._is_running_text:中文系统实际输出「正在运行」不含连续子串「运行中」,原两词判定在中文VPS恒False=守卫恒fail-open(当晚若不禁用bs-fund将真撞车);三词都认+回归钉测试;③check_task_running.py通用探针(修复版)替换VPS上带同bug的check_bs_eod.py;+4测试(登录超时返False/relogin全程超时不raise/login与logout必经保护伞契约/正在运行判定) [vps]

2026-08-20 20:04:51 +08:00

bs_fund_wrapper.ps1

chore(data): bs_fund_wrapper.ps1——sanguo-bs-fund schtask 23:05 wrapper(镜像 bs_eod_wrapper:清代理直连铁律+迁移日志目录+退出码透传),跑 baostock 季频财务+业绩报告(bs_fundamentals.py,数据session P1+P2+P3);wrapper 随本commit进repo,schtask 当场在VPS建(23:05,SYSTEM/HIGHEST,同bs-eod参数),run707已部署脚本本体 [vps]

2026-08-20 12:58:20 +08:00

bs_fundamentals.py

fix(data): bs_eod挂死根治——login/logout纳入_with_timeout保护伞+中文系统运行判定三词修正。①根因(08-20 19:26实锤,日志形态逐字吻合):bs.login()打印success后仍有后续往返,baostock recv不遵守socket default timeout,主线程卡死在login内部recv(50min+零输出,连60s超时err都没有);fetch早已套_with_timeout但login/logout是裸调——relogin/login_once全部纳入(login60s/logout30s),超时按登录失败处理走既有重试链;②bs_fundamentals._is_running_text:中文系统实际输出「正在运行」不含连续子串「运行中」,原两词判定在中文VPS恒False=守卫恒fail-open(当晚若不禁用bs-fund将真撞车);三词都认+回归钉测试;③check_task_running.py通用探针(修复版)替换VPS上带同bug的check_bs_eod.py;+4测试(登录超时返False/relogin全程超时不raise/login与logout必经保护伞契约/正在运行判定) [vps]

2026-08-20 20:04:51 +08:00

check_schtask_runs.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

check_task_running.py

fix(data): bs_eod挂死根治——login/logout纳入_with_timeout保护伞+中文系统运行判定三词修正。①根因(08-20 19:26实锤,日志形态逐字吻合):bs.login()打印success后仍有后续往返,baostock recv不遵守socket default timeout,主线程卡死在login内部recv(50min+零输出,连60s超时err都没有);fetch早已套_with_timeout但login/logout是裸调——relogin/login_once全部纳入(login60s/logout30s),超时按登录失败处理走既有重试链;②bs_fundamentals._is_running_text:中文系统实际输出「正在运行」不含连续子串「运行中」,原两词判定在中文VPS恒False=守卫恒fail-open(当晚若不禁用bs-fund将真撞车);三词都认+回归钉测试;③check_task_running.py通用探针(修复版)替换VPS上带同bug的check_bs_eod.py;+4测试(登录超时返False/relogin全程超时不raise/login与logout必经保护伞契约/正在运行判定) [vps]

2026-08-20 20:04:51 +08:00

cleanup_staging.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

corpus_download.py

fix(data): 分区改多 part 追加写+批量提交,根治 day-1 O(n²) 劣化 [nas]

2026-09-07 07:12:48 +08:00

daily_update_static.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

daily_update_xtdata.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

dbbardata_utils.py

fix(data): dbbardata 日线双行根治(统一纯日期+helper,留ROWID max去重)

2026-07-23 12:18:41 +08:00

fix_vps_config.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

index_const_hist_download.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

index_monthly_wrapper.ps1

feat(data): 中证指数日线点位修股票/指数同名碰撞 + 行业治偏差 section 名校正/增量接线

2026-07-28 21:54:46 +08:00

kill_backup_only.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

kill_backup_verify.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

merge_constituent.py

fix(data): 成份股 merge/migrate pipeline 可重跑(idempotent, 读 bs_index_constituent_old)

2026-07-23 09:04:00 +08:00

merge_increment.py

fix(data): data_platform硬化(增量merge/verify+raw_redownload/run_daily_update)+测试

2026-07-15 07:12:46 +08:00

merge_staging_to_data.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

migrate_constituent.py

feat(data): 补 000985 中证全指 + 中证800十行业成份股入 constituent_unified (G1+G2)

2026-07-28 20:36:11 +08:00

parse_csindex_announce.py

fix(data): constituent_unified中证1000(000852)全0修复+current锚点三重防线——000852的1233条成分全in_current=0(因子池端点显示0只);根因=08-16 idx-monthly STEP0的fetch_akshare_current(000852)瞬时网络失败被「非致命warning」吞→announce_union重写丢current锚点→migrate全标was_removed,而snapshot兜底对两指数均为csindex超时placeholder从未起作用;数据修复(已执行)=akshare现拉1000只append进announce_union+正规migrate/merge重建,VPS主库1673条cur=1000精确达标,全21指数diff仅000852,NAS sync_tables已同步同态,全0扫描为空;代码防线=①fetch重试3次②空解析raise大声(列定位失败不再静默返空)③_carry_forward_current失败时沿用旧parquet current行锚点只增不丢(000852/932000两块接线);6新测试钉死三防线 [vps]

2026-08-30 12:49:13 +08:00

register_akshare_schtasks.ps1

fix(data): register脚本对齐VPS现场命名+ak-monthly改XML注册——09-01晚实测暴露脚本漂移:08-20 schtask重组已改名ak-daily/ak-monthly/ak-weekly(wrapper不变)但本脚本没跟上,重跑旧脚本=拿过期地图改现场:①复活与ak-weekly完全重复的ak-stock(同wrapper同周六03:00会双开并发,已现场删除)②ak-quarter行「/m月份列表+/d SAT」在zh-CN schtasks报「/D选项无效」根本没注册上;修=①任务名对齐现场六件套(daily19:00/events19:30/weekly周六03:00/monthly首周六02:00/vintage09:00/index16号19:50)②monthly改嵌XML(ScheduleByMonthDayOfWeek Weeks=1 Saturday,Out-File Unicode+Schtasks /create /xml,绕开zh-CN星期名限制)③头注释记命名史+事故链防重演;现场已同款修完(ak-monthly next=9/5首周六,顺带周末全规模预演新代码) [vps]

2026-09-01 20:49:35 +08:00

register_schtasks.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

sina_index_eod_wrapper.ps1

feat(data): 中证指数日线点位修股票/指数同名碰撞 + 行业治偏差 section 名校正/增量接线

2026-07-28 21:54:46 +08:00

sina_index_eod.py

fix(idx-eod): 000300 沪深300 加入 CODES，补 7-16→7-31 数据

2026-08-01 08:00:36 +08:00

static_vintage_check.py

feat(data): hot_rank 挂载+wrapper 时间守卫 [vps]——墙测量5轮收官用户拍板方案A:emappdata 夜间开窗(22:28 实测 OK,晨午4轮全 FAIL),19:30 档失败零连带(单 unit 失败不触断路器 rc 仍 0,不写不标次夜自愈),首夜起 gap_check 即免费持续测量;三处同步=wrapper --types+PANEL_TYPES+EVENT_PANEL_TYPES(15类),零文件=零告警首日成功即成基线;时间守卫=param -Force+非 19:00-23:59 拒绝执行留痕 guard.log(治盘前手动误跑两犯:09-02 08:08/09-04 08:00,盘前拉当日=昨日态错标+marker 锁死当晚真数据);TDD 2 测翻新(白名单拒→放行+注册断言)先红后绿+806 全绿;VPS Parse 预检过+双脚本已 scp 生效位+wall_probe.py 已删 [vps]

2026-09-04 18:46:46 +08:00

stop_all_data_schtasks.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

updater.py

feat(data): v2 数据下载(SSH模式 STOCK_MOUNT+rsync) + launchd定时 + 文档

2026-07-07 19:41:07 +08:00

validate_import.py

feat(data): 全市场5m/15m下载+灌库+每日增量链

2026-07-18 18:45:24 +08:00

validator.py

feat(data): v2 数据下载(SSH模式 STOCK_MOUNT+rsync) + launchd定时 + 文档

2026-07-07 19:41:07 +08:00

verify_akshare_e2e.py

fix(data): verify_akshare_e2e 修正事件类路径(data/static/<type> 非 events/)

2026-07-23 09:06:00 +08:00

verify_backup.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

verify_config.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

verify_corpus.py

fix(data): 分区改多 part 追加写+批量提交,根治 day-1 O(n²) 劣化 [nas]

2026-09-07 07:12:48 +08:00

verify_delisted_in_db.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

verify_e2e.py

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

verify_etf_data.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

verify_etf_staging.py

feat(data): 数据源融合 P0 补全 + 每日增量脚本

2026-07-22 10:34:22 +08:00

verify_increment.py

fix(data): data_platform硬化(增量merge/verify+raw_redownload/run_daily_update)+测试

2026-07-15 07:12:46 +08:00

verify_unified_e2e.py

feat(portfolio): LocalUnifiedProvider spec §6 使用层落地 + VPS E2E(Task6)

2026-07-23 08:25:44 +08:00

xt_eod_wrapper.ps1

feat(data): 方案A 数据层落地(spec §14)— DB唯一表+治幸存者偏差+权威源

2026-07-23 07:20:34 +08:00

xt_eod.py

feat(data): xt_eod 扩展补全北交所 920xxx 日线(exc_of+universe+import容错,复用×100 normalize)

2026-07-27 20:56:16 +08:00