sanguo/sanguo_vnpy_v2
2
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity
339 Commits 4 Branches 1 Tag
976c99de07e267dfcffc6d831d0bb62fd2ec9cb6
Commit Graph

19 Commits

Author SHA1 Message Date
claude_dev 66b393df16 feat(portfolio): 组合回测接入A股费用(佣金/印花税/最低佣金/滑点)对齐个股回测; BulletTrade set_order_cost/set_slippage [vps]
CI/CD / test (push) Successful in 9s
Details
CI/CD / nas-deploy (push) Successful in 25s
Details
CI/CD / nas-verify (push) Successful in 10s
Details
2026-08-13 10:32:49 +08:00
claude_dev 9588a77a01 feat(portfolio): 回测可观测性 L1+L2+L3(治排查黑盒)
CI/CD / test (push) Successful in 9s
Details
CI/CD / nas-deploy (push) Successful in 24s
Details
CI/CD / nas-verify (push) Successful in 4s
Details 
L1 worker logging: portfolio_worker 模块级 basicConfig(spawn子进程logger进docker logs)
  + subprocess stderr=None 继承(runner_backtest日志实时进docker logs,原capture_output吞了)
  + 失败处理适配(stderr未捕获,改提示查docker logs)
L2 task状态区分: 加 GET /portfolio/task/{id}/status(返state+error)
  + get_result 区分 failed(422+error)/running·pending(404 not ready)/done(原全404分不清)
L3 _wait_future日志: runner.py except 加 logger.error(原只task.fail静默,治非timeout异常排查)
前端无需改(轮询通用/task/{id}已处理failed)
 2026-08-02 13:42:06 +08:00
claude_dev 6d23f7b5ec fix(portfolio): worker _TIMEOUT 3600→10800(3h)+timeout非静默日志
CI/CD / test (push) Successful in 9s
Details
CI/CD / nas-deploy (push) Successful in 29s
Details
CI/CD / nas-verify (push) Successful in 6s
Details 
全市场(max_pool=0)全周期(726天)回测每策略 60-100min,原 3600s(1h)不够→
subprocess.run kill→_wait_future 静默 task.fail→404。改 10800(3h)覆盖。
加 try/except TimeoutExpired 显式 logger.error(task_id+argv)+raise RuntimeError,
timeout 不再静默(治基建反馈排查困难)
 2026-08-02 07:14:00 +08:00
claude_dev 7a14d7da82 feat(portfolio): strategy 字段全链透传(API→orchestrator→worker→runner_backtest + 前端选择器)
CI/CD / test (push) Successful in 10s
Details
CI/CD / nas-deploy (push) Successful in 20s
Details
CI/CD / nas-verify (push) Successful in 3s
Details 
后端: PortfolioBacktestRequest.strategy → submit_portfolio(strategy=) → spec →
portfolio_worker _build_argv --strategy(NAS local + Mac SSH 两分支)
前端: PortfolioBacktestReq.strategy? + 策略下拉(4选项) + 副标题动态 + onSubmit 透传
runner_backtest CLI 已支持 --strategy(choices 4 策略),本提交不动
 2026-08-01 23:01:26 +08:00
claude_dev 4986e5c3c4 feat(portfolio): 组合回测异步化(接入 orchestrator task 框架)
CI/CD / test (push) Successful in 10s
Details
CI/CD / nas-deploy (push) Successful in 21s
Details
CI/CD / nas-verify (push) Successful in 3s
Details 
routes_portfolio 同步 subprocess.run(timeout=600) >10min 回测被 504 杀。
改异步复用现有 sanguo_orchestrator:submit_portfolio 仿 submit_factor,
子进程执行搬至 portfolio_worker.py(三机自适应保留,timeout 600→3600),
复用 _wait_future/_on_done 持久化。前端 onSubmit 改 POST 拿 task_id
→ 轮询 /task/{id} → done 取 /portfolio/task/{id}/result。

- runner.py: + submit_portfolio + _portfolio_worker(lazy import)
- portfolio_worker.py(新): 三机自适应 argv + 子进程 + stdout JSON → BacktestResult
- routes_portfolio.py: POST async 返 task_id + GET /portfolio/task/{id}/result
- 前端: postPortfolioBacktest 返 task_id + 轮询 status + 取 result(去 600s timeout)

不动策略逻辑/runner_backtest 核心/现有 task 接口。
 2026-08-01 13:52:46 +08:00
claude_dev 43b6a58ba7 feat(backtest): 支持5m/15m周期回测(ashare适配绕vnpy Interval enum) 
ashare_engine override load_data: 5m/15m 直查 dbbardata 转 BarData(MINUTE),
绕过 vnpy Interval enum 限制(原生只认 d/1h/1m)。cta_engine +interval 参数,
5m/15m 映射 MINUTE 过父类校验。api(schema/routes)+orchestrator 透传 interval。
顺带修 cta_engine DB路径污染(yaml NAS路径在Win VPS误解析→改读vt_setting.json)。

测试: 15m 600519一年 3888bars total_return-0.22 sharpe-2.04; 5m 11664bars; 日线未回归(237bars)。
 2026-07-18 18:45:24 +08:00
claude_dev d6162d1928 fix(factor): 因子任务持久化到 backtest_results.db(type=factor) 
此前 FactorReport 无 id,_on_done 不存 DB → 因子任务不进任务列表、重启丢失
(用户:历史任务列表看不到因子分析)。_on_done 现对 FactorReport 调
_persist_factor 存 backtest_stats(type=factor, strategy=因子名, symbol=标的池,
statistics={ic_summary, report_paths})。FactorReport 加 symbols/start/end 字段。
 2026-07-17 17:06:57 +08:00
claude_dev 6ed71ed8cf fix(optimize): 参数优化端到端修复(空statistics/500/不跳页) 
根因: vnpy run_optimization 孙进程 spawn re-import setting.py 重置 DB → load 0根 → 空 statistics;连带 task_id 不一致 + statistics 含 date/numpy 序列化失败 + 前端单页轮询 180s 超时。
修复(不动 vnpy 源码):
- cta_optimizer: vt_setting.json 适配(vnpy 原生机制 setting.py:43 load_json,孙进程拿到正确 DB) + task_id 贯通 + 主聚合持久化(combos) + 过滤空 statistics 记录
- result_store: _json_default(date→isoformat + numpy→原生),save_result 两处 json.dumps 加 default
- routes: optimization-results 改读 DB 主聚合, fallback 内存(重启不丢)
- runner: _opt_worker 加 task_id 参数 + submit_optimize 传递(对齐 _cta_worker)
- 前端: Optimize 提交后跳 progress;Progress 用 opt_ 前缀判断跳 optimize-result;新建 OptimizeResult 参数表格页;router 加路由
验证: 端到端 optimization-results http=200 + 4组合非空 statistics + 浏览器提交→跳 optimize-result 页表格渲染。
 2026-07-17 10:58:49 +08:00
claude_dev 8d55e414fa fix(backtest): A股适配层—定寸/做空拦截/真实费用/口径统一(Phase1+2) 
审计发现包装层系统性失真(2 CRITICAL+7 HIGH)，vnpy底座可信但A股场景未适配：
- C1 定寸: engine.size=N(满仓手数)，策略volume=1手=N股，开平对称(pos归零)
- C2 做空拦截: SHORT+OPEN拒单，long-only，SHORT+CLOSE平多允许
- H3 A股费用: AShareDailyResult重算(佣金保底5元/印花税卖方/过户费沪市)
- H4 收益口径: simple return从balance算(不再用vnpy log return喂empyrical)
- H5+口径: benchmark ffill对齐不缩样本; sizing_shares_per_lot暴露
- H7 退化检测: 零成交/空数据标degenerate不静默done
- H8 task_id: optimize/factor用uuid4(原id()内存地址)
- 静默except改warning

验证: 容器内真实vnpy DoubleMa 600000 2022-2024, total_return 1e-6→42.3%,
end_balance 100万→142万, SHORT+OPEN成交0笔, N=7800股/手.
22 backtest测试全绿(含集成测试), API健康200.
 2026-07-12 23:39:45 +08:00
claude_dev 59da65b839 fix(backtest): 结果页指标全显"—" + 任务重启后404 
两个根因:

1. relative_metrics 缺字段(routes.py): get_result 的 relative_fields 列表
   漏了 total_return/annual_return/sharpe_ratio/max_drawdown 4 个字段, 导致
   这 4 个指标永远进不了响应 → 前端 MetricCards 显"—"。补全为 11 字段。

2. 任务 task_id 不持久(runner/cta_engine): submit_cta 用 cta_{symbol}_{id(params)}
   (内存地址) 作 runner id, 而 run_cta_backtest 内部另生成 cta_{uuid} 存 DB,
   两者持久层不相交 → 重启后 pool 内存映射丢失, get_result(runner_id) 的
   load_result_by_task_id 查不到 → /result 404 → 前端指标全 0 + 图表无数据。
   改为 submit 前置生成稳定 uuid, 透传给 run_cta_backtest 复用, 使
   runner-id == DB task_id (单一 id, 重启可查)。

附: Dashboard 最近任务"策略/因子"列 min-width 150→190(长策略名不再截断)
测试: test_runner task_id 断言同步新格式
 2026-07-11 22:10:48 +08:00
claude_dev f7c2e2eea3 fix(backtest): benchmark全链路透传(API→runner→engine) + metrics分支用_dcfg修cfg=None导致relative_metrics空 2026-07-11 14:27:19 +08:00
claude_dev 54fc1b656f feat(s3): 历史任务 + 参数优化端到端跑通 
- result_store.load_result_by_task_id + orchestrator.get_result DB 兜底（历史回看）
- GET /task 列表、GET /task/{id}/optimization-results
- Task.raw_result 存优化结果 list（内存）
- cta_optimizer 修同款 bug（interval d / capital 1M / vnpy DB SETTINGS）
- get_status 返回 error_msg（str 守卫）
- 前端 优化页（网格输入+轮询+结果表）、历史页（任务列表+回看）、侧栏子菜单
- 修 5 个旧 test_routes 回归；73 tests passed
- 冒烟：历史 3 任务 + 优化 9 组合
 2026-07-07 06:35:54 +08:00
claude_dev 212ad6426d feat(s2): 投研核心端到端跑通（IC 表 + tears 报告） 
- Task 加 raw_result 字段；orchestrator get_raw_result（内存存 FactorReport）
- 路由 /factor/list、/task/{id}/ic-summary、/task/{id}/report/{factor}（query token 给 iframe）
- analyzer cfg=None 时加载 data_platform.yaml（修 API 路径 read_db_daily 崩）
- get_status 返回 error_msg（调试+前端 failed 展示）
- 前端 投研-新建（多因子/多标的/日期）+ 结果页（IC 表 + tears iframe）
- factor 冒烟通过：ma5 → IC 1D/5D/10D 真实数据
 2026-07-07 06:28:01 +08:00
claude_dev 510f77e6ea fix(backtest): result_id 用 DB 行 id + equity/trades 落 JSON（S1.1+S1.2） 
- BacktestResult 加 id；save_result 设 result.id=lastrowid（修 get_result bug）
- runner._on_done 用 result.id（getattr 兜底 FactorReport）
- cta_engine 构建 equity_curve/trades DataFrame；save 传 file_dir
- result_store parquet→JSON（去 pyarrow 依赖，本机/容器都稳）
- 16 tests passed
 2026-07-07 06:06:10 +08:00
claude_dev fa7237b996 feat(polish): 因子报告 IC 提取 + periods 提参 + 缓存上限 + 代码整洁 
- analyzer.py: 提取 IC 值到 ic_summary (mean/std/icir/t_stat)，periods 提参 (默认 1,5,10)
- alpha_lab.py: _loaded_bars 缓存 LRU 上限 (_MAX_CACHED_SYMBOLS=50)
- runner.py: 统一阶段文案 (参数优化中/因子分析中)，worker 类型标注，_wait_future 文档
- pool.py: submit_work 添加 task_id debug 日志

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-06 21:32:27 +08:00
claude_dev f5a69b312a feat(orchestrator): runner async submit + on_stage 回调 2026-07-06 18:24:28 +08:00
claude_dev 66aa27e807 feat(orchestrator): pool 异步化（ProcessPoolExecutor spawn + stage 追踪） 2026-07-06 18:19:24 +08:00
claude_dev 330b687e83 feat(orchestrator): runner 任务调度器 2026-07-06 11:25:11 +08:00
claude_dev 1aa7018223 feat(orchestrator): task 状态机 + pool 封装 2026-07-06 11:24:56 +08:00