claude_dev 67fae2fef2 perf(factor): 财务特征join_asof分块化——NAS全量1480万行grid OOM根治 [nas] ...

根因: 全市场grid(5555股×2670日×33列≈4G)单次join_asof + batch_eval侧
特征帧+alpha_df双全量副本,峰值10G+,7.9G NAS必爆(合成3股测不出)。

- adapter重构: iter_fundamental_feature_chunks生成器——grid按股分批构建
  (BATCH_CODES=500,批间无全量grid副本),事件右表(报告期+forecast)全批共用一份;
  build_fundamental_features改为chunks concat(单一代码路径)
- batch_eval: 特征join移到del bars之后(省1G bars常驻),逐块filter→join
  alpha_df分片→concat,不再持有特征帧全量副本;断点续跑已完成的财务因子不再触发join
- 消两处join_asof UserWarning: 显式按键sort后抑制polars 1.42 by分组无法
  校验sortedness的无信息提示(sort即正确性保险;set_sorted实测压不住)
- 等值测试: 6股合成域 batch=1/2/6 逐值等值(分块不改变结果)
- NAS真数据探针(600真股×2018-2026×batch500): roe_ttm覆盖0.904,
  峰值RSS 1017MB(含全量statement加载),零OOM;生产规模外推~2G内

[nas]

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-09-08 09:31:52 +08:00

..

__init__.py

feat(factor): batch_eval接入财务因子——特征列join+端到端IC(财务批P0 WP3) [nas]

2026-09-08 09:31:52 +08:00

alpha_datasets.py

fix(factor): mount_alpha101 docstring 100→82(实测数)+_quantile_mask 未用形参收敛为top布尔 [vps]

2026-08-25 06:53:05 +08:00

alpha_lab.py

fix(factor): compute_factors 时区对齐（边界 Asia/Shanghai aware，真数据跑通因子管线）

2026-07-06 22:18:51 +08:00

analyzer.py

fix(factor): output_dir建目录兜底——VPS(Windows)首跑/tmp/factor不存在tears静默失败 [vps]

2026-08-30 10:53:34 +08:00

batch_eval.py

perf(factor): 财务特征join_asof分块化——NAS全量1480万行grid OOM根治 [nas]

2026-09-08 09:31:52 +08:00

data_adapter.py

feat(factor): data_adapter 补 vwap 派生列(turnover/volume,零量置null)——Alpha101 表达式 59 处引用 vwap,dbbardata 无此列 [vps]

2026-08-24 23:57:19 +08:00

eval_store.py

feat(factor): 评估结果存储 factor_eval.db——runs/results两表,metrics按周期JSON,SANGUO_FACTOR_EVAL_DB可覆盖 [vps]

2026-08-25 00:17:47 +08:00

fast_ops.py

fix(factor): fast_ops大窗口OOM根治——>60窗shift展开物化window列×10M行(250窗≈20GB)必被内核击杀,卡死24/227六次自愈全撞alpha19的统一根因;sum/min/max/mean/std/corr改原生rolling(min_samples=1截断窗与展开逐点恒等,13等值测试锁定NaN/null语义差异:min须fill_nan(None),max不fill因NaN视作最大两路同步毒化) [vps]

2026-08-26 20:19:03 +08:00

fundamental_adapter.py

perf(factor): 财务特征join_asof分块化——NAS全量1480万行grid OOM根治 [nas]

2026-09-08 09:31:52 +08:00

fundamental_library.py

feat(factor): 财务因子P0表达式库——32因子注册cs_rank一层(财务批P0 WP2) [nas]

2026-09-08 09:31:51 +08:00

library.py

feat(factor): 因子表达式注册 + Alpha158 子集内置库

2026-07-06 08:06:10 +08:00

metrics.py

perf(factor): metrics热路径numpy/scipy化——rank_corr/quantile_mask/decile的pandas rank改scipy rankdata(axis=1)C实现,宽矩阵压力下分钟级→秒级;接口与数值不变,测试原样全绿+速度护栏 [vps]

2026-08-25 10:29:43 +08:00

registry.py

feat(factor): 因子表达式注册 + Alpha158 子集内置库

2026-07-06 08:06:10 +08:00

tears_data.py

fix(factor): tears对秩类离散因子必空根治(qcut duplicates+quantiles=10) [vps]

2026-08-30 09:36:21 +08:00

universe_pools.py

feat(factor): New/Result两页终端风重构落地(方案B设计稿v2用户拍板'开工') [nas]

2026-08-30 09:59:38 +08:00

universe.py

perf(factor): universe parquet缓存——外部~20min杀手 regime下每条命15min冷加载翻转为秒级复载,20min寿命=纯计算15-20因子;key含窗口/symbols/limit防串池,写失败静默 [vps]

2026-08-26 06:37:33 +08:00