sanguo/sanguo_vnpy_v2
2
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity
192 Commits 4 Branches 1 Tag
b966fce1e98e06e33295bed0abde636de4bbe499
Commit Graph

33 Commits

Author SHA1 Message Date
claude_dev b966fce1e9 feat(data): 导入脚本 env 化 + xtdata 日线增量脚本 
- import_vnpy_daily_fast.py: DB_PATH/DAILY_DIR 读 env(VNPY_DB_PATH/DAILY_DIR, Windows用正斜杠); amount 列缺失时容错填0
- daily_update_xtdata.py: 新增, 全市场日线从 miniQMT xtdata 本地缓存增量下载(零漂移), 部署文档 §4/§8 引用
 2026-07-17 08:24:01 +08:00
claude_dev a75e094e7d feat(data): build_daily_from_xtdata 全市场日线从xtdata重建到staging 
miniQMT的xtdata作源(已证价格与parquet一致/T+0/深历史),重建VPS全市场日线。
- 只写 staging(DATA/_staging_xtdata),不动主库,验后再swap
- download一次raw,读两次(dividend_type none=raw/front=qfq,复权读时应用)
- volume×100(手→股),列 date/open/high/low/close/volume 对齐 datareader
- 单线程paced(分批200+sleep),per-stock写不全量进内存,避全市场崩
- 布局 {raw,qfq}/<year>/{sh|sz}{sym}_daily.parquet,沪深A股~5201只
 2026-07-15 22:59:32 +08:00
claude_dev 346133415f fix(data): run_daily_update 注入 homebrew PATH 修 launchd 下 timeout not found 
launchd/cron 最小 env 不含 /opt/homebrew/bin，探针 'timeout 30 python3 ...'
报 command not found → 误判新浪源挂 → abort → 每日增量 07-14 起失效、生产数据
停在 07-13。脚本顶部 export homebrew+系统 PATH，兼容 launchd/cron/手动。
根因见 memory cron-python-env-gotchas(timeout 在 homebrew 不在 /usr/bin)。
 2026-07-15 21:35:59 +08:00
claude_dev 2b26174977 feat(ops): NAS→VPS 数据同步脚本(Mac中继,符dev→prod) 
sync_nas_to_vps.sh: 同步质量验证日线(raw+qfq parquet)NAS→VPS via Mac
(光猫拦直连)。符号可配置(默认模拟账户持仓600000/000001),幂等(rsync --update),
前缀规则对齐 bridge_client.to_bridge_code。已验证:24文件落地VPS结构正确。
验证通过→Mac cron每日收盘后跑=生产数据管道。
 2026-07-15 13:56:23 +08:00
claude_dev e3b688354f fix(data): data_platform硬化(增量merge/verify+raw_redownload/run_daily_update)+测试 
merge_increment/verify_increment 增量staging→验证→合并工具; raw_redownload/run_daily_update/import_vnpy_daily 强化; 补 data_platform 与 index_downloader 测试.
 2026-07-15 07:12:46 +08:00
claude_dev 54f9ab4c4f docs(deploy): VPS生产runbook+三机环境矩阵+NAS ops脚本+修rsync危险命令 
vps-production-runbook(VPS运维一站式,已验证状态+拓扑+发布流水线+人类闸口+排障); env-version-matrix(三机Python/deps矩阵+Lock建议); scripts/ops(NAS bridge探针-容器无curl-+VPS→NAS备份脚本); nas-deploy-plan§3(修rsync --exclude语法,原会删万级staging parquet+破坏entrypoint启动).
 2026-07-15 07:12:46 +08:00
claude_dev 4b83452294 fix(data): backfill硬化—重登on-error/登录超时/断路器/marker-resume+冷却续跑watcher 
首跑5yr 673/5493后baostock连接死、定时重连没恢复、登录卡死=被限流。修四个硬伤：
- 重登on-error: except分支强制bs.logout+login建新socket再retry(原只sleep重试同死socket)
- 登录超时: SIGALRM给bs.login套30s闹钟，防永久挂起
- 断路器: 连续30只failed→save_progress+break+exit 2，不再假完成空跑2000票
- marker-resume: load_progress扫.baostock marker文件(非done JSON)，failed无marker永远重试
- watcher: 每30min探测baostock，可登就续跑，冷却就等，exit 0则退出
9/9单测绿(Mac venv311 mock baostock)。
 2026-07-13 11:56:23 +08:00
claude_dev 292de31eaf perf(data): backfill支持--shard/--total分片并行(6-worker,39h→6h) 2026-07-12 09:15:12 +08:00
claude_dev d77e1ff7a1 fix(data): backfill脚本参数化NAS_ROOT/BS_START_DATE(Mac/NAS+5.5yr兼容) 2026-07-12 08:57:15 +08:00
claude_dev cf4b3a2cb0 feat(data): 15min数据补全—路径参数化+cron入口+回填+设计文档 
- download_minute.py: STOCK_ROOT环境变量参数化(Mac/NAS兼容); 修tencent备源amount聚合 last→sum
- refresh_15min_daily.py: 新建cron入口(交易日判断baostock/直连pop代理/日志)
- 回填470缺口(170 SH/SZ成功, 300 BSE源不支持)
- docs/data/15min-data-design.md: 15min数据层设计文档(源/覆盖/脚本/刷新/约束/路径映射)
 2026-07-12 08:26:30 +08:00
claude_dev 86a7f8ef2d docs+fix(data): run_daily_update重写raw+qfq增量 + daily-update-design v3双源 
- run_daily_update.sh: 重写raw+qfq增量(跳daily_all_update新浪坏接口KeyError:date,
  持久路径data_cache/daily_update不进tmp, set -uo pipefail不-e); C-S3每日raw(撮合)+qfq(warmup)
- daily-update-design.md: v3.0变更记录+十六节(双源raw/qfq架构/脚本更新清单/launchd15:30部署/准确性验证/与v2关系)
- config/data_platform.yaml: minute_15_qfq_dir/minute_15_raw_dir(15min双源目录)
 2026-07-10 08:16:41 +08:00
claude_dev 917d5bca2a fix(data): baostock_download断连自动re-login retry(限流鲁棒) 
本机下131只后baostock broken pipe卡死(脚本无retry). 加reconnect()+download_one
max_retries=3(空结果/broken pipe→bs.logout+login重试). 下次跑断点续传skip 131.
 2026-07-10 07:10:36 +08:00
claude_dev a372544045 feat(data): 双源5yr全市场部署 + baostock 15min + 断点续传 
- raw_redownload 加断点续传(exists/skip已存在, 扩范围重下覆盖)
- baostock_download: 15min双源(qfq+raw)下载器, NAS容器跑, 限速防封
- full_deploy_5yr.sh: 无人值守日线双源pipeline(qfq→raw→rsync→验证)
- verify_dual_source: 容器内双源部署验证(fetch_day/iter_bars/除权日)

实测: 日线双源5yr 29600文件×2(rsync NAS), 浦发除权日 raw-5.9%/qfq-0.7%,
容器内 fetch_day/iter_bars/全市场抽检5只全通过. 15min沪深300 baostock限流121只.
 2026-07-09 19:22:36 +08:00
claude_dev c6b19f4244 feat(data): 恢复双源(task#79)—撮合raw+策略qfq, 分红除权准确 
用户要模拟=回测准确: raw除权缺口致MA假信号, 必须双源。
- data_source: qfq→qfq_dir(干净qfq), raw→raw_dir; _check_adjust_cfg(cfg提供才校验)
- engine 双bar流: step(raw_bars,qfq_bars)撮合/盯市raw+策略on_bar qfq; run zip(raw,qfq)
- live_orchestrator: warmup用qfq(信号am); 去adjust参数(双源固定)
- raw_redownload --adjust(''raw/'qfq'); config qfq_dir
- 113/113通过
 2026-07-08 07:21:33 +08:00
claude_dev 7eec983164 fix(live): C-S3实走warmup(am跨日)+fetch_day wrapper+端到端验证 
- live_orchestrator warmup: 重放start~昨日raw到策略am使其inited(实走每日单根, 不warmup则ArrayManager永不inited→策略无信号)
- routes _DataSourceWrapper 加 fetch_day(给 live_step 拉当日raw)
- verify_live_step 容器端到端: 创建live account+live_step(07-07 warmup+step)+存pending, 跑通(pending=0系DoubleMa当日无交叉, 撮合/存已单测)
 2026-07-08 06:59:24 +08:00
claude_dev 674cfadba7 feat(data): run_daily_update加raw增量—每日15:30拉最近5天raw推NAS(C-S3实走数据管道) 2026-07-08 06:51:00 +08:00
claude_dev 1ed7b72aca feat(data): raw真实价数据源(task#79)—raw_dir+dir_key路由+新浪源重下 
根因: daily_dir mixed-adjust(hfq bulk+akshare raw tail)致3-30 -94%假跌。
方案(Linus三问简化单raw, 除权留分期项#3):
- datareader read_parquet_daily/15min 加 dir_key 参数
- data_source iter_bars/fetch_day: adjust=raw→raw_dir(缺配置报错防混源), qfq→daily_dir
- engine PaperEngine 默认 adjust=raw
- config 加 raw_dir; scripts/raw_redownload.py 新浪源adjust='' 直连+单线程限速
- 验证: 浦发606行close 6.5/14.6 mean10.08 0跳变, 撮合成交价9.71-10.25真实
- 测试9/9+trader全量108/108通过
 2026-07-07 22:19:11 +08:00
claude_dev 1a88954126 feat(data): v2 数据下载(SSH模式 STOCK_MOUNT+rsync) + launchd定时 + 文档 
- v1 data_platform 脚本复制到 v2/scripts/data_platform/ 维护
- daily_all_update.py: 路径用 STOCK_MOUNT env(SSH模式) + STOCK_LIMIT(验证)
- run_daily_update.sh: rsync拉NAS→本地 + v1增量 + 推NAS(SSH key免密,不挂载)
- launchd com.sanguo.data-update 每日15:30(替代crontab,macOS FDA限制)
- 验证: STOCK_LIMIT=2 updated=2 records=24 拉到当天
- 文档 docs/deployment/data-download.md
 2026-07-07 19:41:07 +08:00
claude_dev 88bd001a97 test(paper): Phase 3c 端到端冒烟脚本(login+create+equity/trades/strategies) 2026-07-07 12:58:14 +08:00
claude_dev 54fc1b656f feat(s3): 历史任务 + 参数优化端到端跑通 
- result_store.load_result_by_task_id + orchestrator.get_result DB 兜底（历史回看）
- GET /task 列表、GET /task/{id}/optimization-results
- Task.raw_result 存优化结果 list（内存）
- cta_optimizer 修同款 bug（interval d / capital 1M / vnpy DB SETTINGS）
- get_status 返回 error_msg（str 守卫）
- 前端 优化页（网格输入+轮询+结果表）、历史页（任务列表+回看）、侧栏子菜单
- 修 5 个旧 test_routes 回归；73 tests passed
- 冒烟：历史 3 任务 + 优化 9 组合
 2026-07-07 06:35:54 +08:00
claude_dev 212ad6426d feat(s2): 投研核心端到端跑通（IC 表 + tears 报告） 
- Task 加 raw_result 字段；orchestrator get_raw_result（内存存 FactorReport）
- 路由 /factor/list、/task/{id}/ic-summary、/task/{id}/report/{factor}（query token 给 iframe）
- analyzer cfg=None 时加载 data_platform.yaml（修 API 路径 read_db_daily 崩）
- get_status 返回 error_msg（调试+前端 failed 展示）
- 前端 投研-新建（多因子/多标的/日期）+ 结果页（IC 表 + tears iframe）
- factor 冒烟通过：ma5 → IC 1D/5D/10D 真实数据
 2026-07-07 06:28:01 +08:00
claude_dev 28aea67232 feat(s1): 回测核心端到端跑通（vnpy client 对齐） 
- 修 submit_cta/optimize 策略字符串→类解析（get_strategy_class）
- cta_engine: worker 进程设 vnpy DB→quant_trading.db（修 0 根数据）
- equity_curve 取自 calculate_result 的 daily_df（修 get_all_daily_results 对象问题）
- kline 补 cfg（find_config_path 共享）
- 端到端冒烟通过：DoubleMaStrategy 600000 → equity111/pnl111/trades1/kline117
 2026-07-07 06:21:17 +08:00
claude_dev 510f77e6ea fix(backtest): result_id 用 DB 行 id + equity/trades 落 JSON（S1.1+S1.2） 
- BacktestResult 加 id；save_result 设 result.id=lastrowid（修 get_result bug）
- runner._on_done 用 result.id（getattr 兜底 FactorReport）
- cta_engine 构建 equity_curve/trades DataFrame；save 传 file_dir
- result_store parquet→JSON（去 pyarrow 依赖，本机/容器都稳）
- 16 tests passed
 2026-07-07 06:06:10 +08:00
claude_dev cb220619ef feat(backtest): 接真实 CTA 策略跑通端到端回测（DoubleMaStrategy on 600000） 
修复 cta_engine 在真数据上的多个 bug（Phase 2 未在真数据验证）：
- interval "1d" -> "d"（vnpy Interval.DAILY.value）
- capital 0 -> 1_000_000（0 致首笔交易即爆仓，统计全 0）
- statistics 改用 calculate_statistics(df)（旧代码误用 calculate_result 拿 DataFrame）
- statistics JSON-safe（vnpy 可能含 Timestamp）
- test_cta_engine mock 匹配新流程（calculate_statistics 返回统计字典）

验证：diag_cta.py 真实回测 DoubleMaStrategy on 600000 (2024H1, 111 天)
→ 真实统计 total_return -0.017% / sharpe -1.03 / max_drawdown -2.17 / 1 trade
容器 79 tests passed。
 2026-07-06 23:33:24 +08:00
claude_dev 24ead05b3f fix(factor): 因子管线真数据跑通（注册因子 + close 时区 + 多 symbol + smoke 真断言） 
端到端修复因子分析在真实 A 股数据上的多层问题：
- __init__ 引入 library 触发 _register_all（ma5 等内置因子注册）
- read_db_daily 用裸 symbol（600000 非 600000.SSE），匹配 DB 存储
- analyzer 单独读 close 价格 + tz_localize Asia/Shanghai 对齐 factor_df aware 日期
- smoke 用 >=2 symbol（alphalens IC 是横截面分析，单 symbol 分位为空 -> concat 报错）
- smoke 真断言 IC 非空（杀掉之前的假阳性 PASS）
- 修 status 引用未定义的 use_cumsum_fallback

验证：容器 smoke 6/6 PASS，real tears 出真 IC
（ma5: 1D mean=-0.122/icir=-0.22, 5D mean=-0.276, 10D mean=-0.265, count=49）
容器 68 tests passed。
 2026-07-06 23:00:48 +08:00
claude_dev 4723554e29 fix(api): auth 用 bcrypt 直调替代 passlib（修复容器 __about__ 缺失致登录失败） 
- 替换 passlib.context.CryptContext 为直接 bcrypt 调用
- hash_password: bcrypt.hashpw + gensalt
- verify_password: bcrypt.checkpw + 异常处理
- 保持公共接口不变（hash_password/verify_password/create_token/verify_token）
- 移除 passlib 导入，直接使用 bcrypt 模块
- 现有 $2b$12$... bcrypt hash 仍可验证通过

修复问题：
- passlib 1.7.4 探测 bcrypt.__about__.__version__ 导致 AttributeError
- 现代 bcrypt 移除了 __about__ 属性
- 致使容器内密码验证失败，登录跳过

验证结果：
- 本地 test_auth.py: 3/3 PASS
- 容器 test_auth.py: 3/3 PASS
- 容器 smoke JWT LOGIN: PASS（之前 SKIP）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-06 19:55:06 +08:00
claude_dev effd3caa4a test(phase3a): 端到端冒烟 + multiprocessing guard 修复 + 覆盖率 
Created comprehensive Phase 3a smoke test (scripts/smoke_phase3a.py) with:
- sys.path config (auto-detects local vs container)
- JWT login + protected route auth (with graceful bcrypt skip)
- Orchestrator async (ProcessPoolExecutor confirmed)
- WS stage wiring (on_stage callback verified)
- Real factor tears pipeline (multiprocessing fix validated)

Multiprocessing blocker resolved:
- Added if __name__ == "__main__": guard to enable vnpy.alpha spawn
- Tested in container - factor pipeline runs end-to-end
- max_workers=1 still spawns processes (guard required regardless)

Test coverage:
- Local: 44/44 tests passed, 82% coverage (sanguo_api + orchestrator)
- Container: 30/30 tests passed (factor + backtest)
- Smoke: All 6 sections passed in container

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-06 19:50:34 +08:00
claude_dev 8041d4a9a5 test(phase2): 端到端冒烟通过（result_store+因子+API+data_adapter 真实 A 股 117 bars） 2026-07-06 11:44:22 +08:00
claude_dev ee4bccb06b spike(s2): run_optimization PASS（vnpy_ctastrategy 1.4.1 + spawn pool + max_workers） 2026-07-06 07:45:47 +08:00
claude_dev 9a257994b3 spike(s1): vnpy.alpha A 股支撑度 PASS（AlphaLab 存取 + ts_mean 因子计算） 2026-07-06 07:40:38 +08:00
claude_dev b325109df6 spike(s3): peewee 冲突验证 PASS（alphalens 0.4.6 + vnpy_sqlite peewee 4.1.1 共存） 2026-07-06 07:33:47 +08:00
claude_dev 6da8a55b5e docs(phase1): 数据层完成报告 + 端到端冒烟脚本 2026-07-05 23:47:07 +08:00
claude_dev 36ec0d38e3 chore: 添加 .gitkeep 保持目录结构 
- tests/.gitkeep
- scripts/.gitkeep
- examples/.gitkeep

确保空目录在 Git 中被追踪。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-01 21:21:57 +08:00