This website requires JavaScript.
Explore
Help
Register
Sign In
sanguo
/
sanguo_vnpy_v2
Watch
3
Star
0
Fork
0
You've already forked sanguo_vnpy_v2
Code
Issues
5
Pull Requests
Actions
Packages
Projects
Releases
Wiki
Activity
Files
6fed71f9c8e893cac0296ebfeeb3d6ff296c12d9
sanguo_vnpy_v2
/
scripts
/
data_platform
T
History
claude_dev
6fed71f9c8
CI/CD / test (push)
Successful in 23s
Details
CI/CD / nas-deploy (push)
Successful in 12s
Details
CI/CD / nas-verify (push)
Successful in 8s
Details
feat(ak): §20.13 因子P1三新域采集落地——pledge_ratio per-Friday快照(20210108起,未发布周五failed不写marker次周自愈)+pledge_detail RPTA_APP_ACCUMDETAILS月桶全量(12.7万行254页走fetch_em_dc_pages节流通道防§15.3红线,MXID去重防页边界漂移,raw白捡IS_CONTROL_SHAREHOLDER)+research_report PER_WEEK周窗(reportapi直连薄客户端1s节流,anchor=周五窗=周一..五,EM空值转None防pyarrow混型炸);调度=ak-weekly周六班追加两独立命令不带--force;sync=listing段三域skip-if-exists(周五锚滞后任意天必追上,同gdhs/nb_hold先例);TDD 20例+Mac冒烟双绿(pledge 2212行/研报103行51列原生直存目标价带值) 504全绿 [vps]
...
Co-Authored-By: Claude Code <
noreply@anthropic.com
>
2026-09-22 10:21:47 +08:00
..
_archive
…
legacy_tasks
…
ak_eod_wrapper.ps1
fix(data): ak-events 五新域首两晚生产四病五修(用户全批,spec §20.9)——①margin 深段 TMC 代码级必然超时(原沪直查+4段整体包 30s,单段实测 26.3s→必挂,从未成功过):改逐层各自预算(沪 AK_TIMEOUT+每段 MARGIN_TMC_SEG_TIMEOUT=60s,seats 同款),任一层失败整体 None 不写残缺,09-11 自愈解堵 ②sw_industry 一级清单源乐咕乐股反爬 VPS(带UA=JS挑战页/裸403):31 行业改 SW_FIRST_LEVEL_STATIC 静态表(Mac 出口校准 2021-12 版),成份仍走申万宏源官网 API 不受影响 ③nb_hold 日增查当天必空(HKEX T+1 供应,同 margin_sse T日同构):基准日改 T-1+_hkex_hold_query strict 参数(日增空 skip 不抛/回补保持 raise),rc=1 主因拔除 ④financial_abstract 新浪源每晚 5.5k 连发撞限流(单发实测通=频率触发):fa 从 ak-eod 挪 ak-weekly 周六(量级-87%+错峰,schema 不变) ⑤margin_sse 窗口含 T 日每晚必 1 failed(EM 沪 DATE 视图 T+1):wrapper 改 T-2~T-1 全 settled;监控口径坑备案(类型级 failed 不抬出码,判健康须看各类型统计行);371 绿(+10 TDD) [vps]
2026-09-16 20:00:23 +08:00
ak_events_wrapper.ps1
fix(data): ak-events 五新域首两晚生产四病五修(用户全批,spec §20.9)——①margin 深段 TMC 代码级必然超时(原沪直查+4段整体包 30s,单段实测 26.3s→必挂,从未成功过):改逐层各自预算(沪 AK_TIMEOUT+每段 MARGIN_TMC_SEG_TIMEOUT=60s,seats 同款),任一层失败整体 None 不写残缺,09-11 自愈解堵 ②sw_industry 一级清单源乐咕乐股反爬 VPS(带UA=JS挑战页/裸403):31 行业改 SW_FIRST_LEVEL_STATIC 静态表(Mac 出口校准 2021-12 版),成份仍走申万宏源官网 API 不受影响 ③nb_hold 日增查当天必空(HKEX T+1 供应,同 margin_sse T日同构):基准日改 T-1+_hkex_hold_query strict 参数(日增空 skip 不抛/回补保持 raise),rc=1 主因拔除 ④financial_abstract 新浪源每晚 5.5k 连发撞限流(单发实测通=频率触发):fa 从 ak-eod 挪 ak-weekly 周六(量级-87%+错峰,schema 不变) ⑤margin_sse 窗口含 T 日每晚必 1 failed(EM 沪 DATE 视图 T+1):wrapper 改 T-2~T-1 全 settled;监控口径坑备案(类型级 failed 不抬出码,判健康须看各类型统计行);371 绿(+10 TDD) [vps]
2026-09-16 20:00:23 +08:00
ak_quarter_wrapper.ps1
feat(data): 静态表调度挪周末+vintage盘前自检——③sanguo-ak-quarter月内1号02:00改财报月首个周六02:00(/d SAT,周六02:00→周一09:30有55h跑道;旧排程7.5h夜窗连单表8h都装不下,09-01注册后首爆16h+穿整个交易日,09:32决策窗撞balance(94%Q2'26)/income(0%)vintage撕裂致value ROE归零清仓;月内1-4号读旧但一致,策略配对修复侧兼容)④新增static_vintage_check.py每日09:00自检:三报表最大报告期+覆盖率盘点(REPORT_DATE列裁剪扫描),跨表撕裂/估值断更(>48h)告警exit 3,原子落vintage_status.json供策略盘前预判(策略session协作契约);register加sanguo-ak-vintage+新wrapper;+8测试 [vps]
2026-09-01 19:03:53 +08:00
ak_stock_wrapper.ps1
feat(ak): §20.13 因子P1三新域采集落地——pledge_ratio per-Friday快照(20210108起,未发布周五failed不写marker次周自愈)+pledge_detail RPTA_APP_ACCUMDETAILS月桶全量(12.7万行254页走fetch_em_dc_pages节流通道防§15.3红线,MXID去重防页边界漂移,raw白捡IS_CONTROL_SHAREHOLDER)+research_report PER_WEEK周窗(reportapi直连薄客户端1s节流,anchor=周五窗=周一..五,EM空值转None防pyarrow混型炸);调度=ak-weekly周六班追加两独立命令不带--force;sync=listing段三域skip-if-exists(周五锚滞后任意天必追上,同gdhs/nb_hold先例);TDD 20例+Mac冒烟双绿(pledge 2212行/研报103行51列原生直存目标价带值) 504全绿 [vps]
2026-09-22 10:21:47 +08:00
ak_vintage_wrapper.ps1
feat(data): 静态表调度挪周末+vintage盘前自检——③sanguo-ak-quarter月内1号02:00改财报月首个周六02:00(/d SAT,周六02:00→周一09:30有55h跑道;旧排程7.5h夜窗连单表8h都装不下,09-01注册后首爆16h+穿整个交易日,09:32决策窗撞balance(94%Q2'26)/income(0%)vintage撕裂致value ROE归零清仓;月内1-4号读旧但一致,策略配对修复侧兼容)④新增static_vintage_check.py每日09:00自检:三报表最大报告期+覆盖率盘点(REPORT_DATE列裁剪扫描),跨表撕裂/估值断更(>48h)告警exit 3,原子落vintage_status.json供策略盘前预判(策略session协作契约);register加sanguo-ak-vintage+新wrapper;+8测试 [vps]
2026-09-01 19:03:53 +08:00
akshare_static_download.py
feat(ak): §20.13 因子P1三新域采集落地——pledge_ratio per-Friday快照(20210108起,未发布周五failed不写marker次周自愈)+pledge_detail RPTA_APP_ACCUMDETAILS月桶全量(12.7万行254页走fetch_em_dc_pages节流通道防§15.3红线,MXID去重防页边界漂移,raw白捡IS_CONTROL_SHAREHOLDER)+research_report PER_WEEK周窗(reportapi直连薄客户端1s节流,anchor=周五窗=周一..五,EM空值转None防pyarrow混型炸);调度=ak-weekly周六班追加两独立命令不带--force;sync=listing段三域skip-if-exists(周五锚滞后任意天必追上,同gdhs/nb_hold先例);TDD 20例+Mac冒烟双绿(pledge 2212行/研报103行51列原生直存目标价带值) 504全绿 [vps]
2026-09-22 10:21:47 +08:00
audit_data_layout.py
…
backup_db.py
…
bs_5m_eod.py
…
bs_daily_main.py
…
bs_daily_wrapper.ps1
…
bs_eod_wrapper.ps1
…
bs_eod.py
fix(bs): 名单规模sanity守卫MIN_STOCK_LIST=4000——09-10实录query_stock_basic截断返2296静默半写exit=0,守卫转exit=1次夜LOOKBACK自愈 [vps]
2026-09-10 22:52:35 +08:00
bs_fund_wrapper.ps1
…
bs_fundamentals.py
…
check_schtask_runs.ps1
…
check_task_running.py
…
cleanup_staging.py
…
corpus_download.py
feat(data_platform): corpus flash_meta 全市场快讯域上线(spec §20.12.3 补充类采纳)——金十 flash_newest.js 快照+东财 kuaixun 翻页(T-1 边界停界,20页硬顶)两源,与 news_meta 个股新闻语义并列不 join;flash_id=源前缀+源站稳定id跨源命名空间隔离,当日marker幂等,源级隔离单源失败不炸另一源;run_corpus.sh 第三lane rc隔离不进聚合(两主lane全让路也不漏当天快讯);镜像车 corpus 四子域扩五(新域指纹全新首跑自动全量推);corpus_reader.get_flash 空df带schema;TDD +13例全套465绿;Mac真网络冒烟=金十50+东财884新,21s完赛,dt跨度T-1边界实证,幂等复跑零请求;首班锚点=次日06:0x flash lane exit=0行 [nas]
2026-09-22 08:17:14 +08:00
daily_update_static.py
…
daily_update_xtdata.py
…
dbbardata_utils.py
…
fix_vps_config.py
…
fundamentals_dmsk_download.py
feat(dmsk): DOMAINS扩forecast业绩预告/express业绩快报两域——探针钉边界2003/2005年报起,per-domain起始年+4键/3键(ID含NOTICE_DATE披露日),verify五域键唯一 [nas]
2026-09-08 21:16:34 +08:00
index_const_hist_download.py
…
index_monthly_wrapper.ps1
…
kill_backup_only.ps1
…
kill_backup_verify.ps1
…
merge_constituent.py
…
merge_increment.py
…
merge_staging_to_data.py
…
migrate_constituent.py
…
parse_csindex_announce.py
fix(data): constituent_unified中证1000(000852)全0修复+current锚点三重防线——000852的1233条成分全in_current=0(因子池端点显示0只);根因=08-16 idx-monthly STEP0的fetch_akshare_current(000852)瞬时网络失败被「非致命warning」吞→announce_union重写丢current锚点→migrate全标was_removed,而snapshot兜底对两指数均为csindex超时placeholder从未起作用;数据修复(已执行)=akshare现拉1000只append进announce_union+正规migrate/merge重建,VPS主库1673条cur=1000精确达标,全21指数diff仅000852,NAS sync_tables已同步同态,全0扫描为空;代码防线=①fetch重试3次②空解析raise大声(列定位失败不再静默返空)③_carry_forward_current失败时沿用旧parquet current行锚点只增不丢(000852/932000两块接线);6新测试钉死三防线 [vps]
2026-08-30 12:49:13 +08:00
register_akshare_schtasks.ps1
fix(data): register脚本对齐VPS现场命名+ak-monthly改XML注册——09-01晚实测暴露脚本漂移:08-20 schtask重组已改名ak-daily/ak-monthly/ak-weekly(wrapper不变)但本脚本没跟上,重跑旧脚本=拿过期地图改现场:①复活与ak-weekly完全重复的ak-stock(同wrapper同周六03:00会双开并发,已现场删除)②ak-quarter行「/m月份列表+/d SAT」在zh-CN schtasks报「/D选项无效」根本没注册上;修=①任务名对齐现场六件套(daily19:00/events19:30/weekly周六03:00/monthly首周六02:00/vintage09:00/index16号19:50)②monthly改嵌XML(ScheduleByMonthDayOfWeek Weeks=1 Saturday,Out-File Unicode+Schtasks /create /xml,绕开zh-CN星期名限制)③头注释记命名史+事故链防重演;现场已同款修完(ak-monthly next=9/5首周六,顺带周末全规模预演新代码) [vps]
2026-09-01 20:49:35 +08:00
register_schtasks.ps1
…
sina_index_eod_wrapper.ps1
…
sina_index_eod.py
…
static_overlay_wash.py
fix(data_platform): 双域背靠背 review 七项修复(factor 3M/2m+strategy 1B/3M)——strategy B1:GroupBy.last 拿组内最后非空值=重述行 null 静默回退旧行值冒充终值,改 nth(-1) 排序末行原样取(宁缺毋假红线);factor MAJOR-1:UPDATE_DATE null 排序 pandas(nulls-last)与因子 polars(nulls-first)语义相反=脏行无条件成终值,改 na_position='first'+kind='stable'(跨重写复算确定性);factor MAJOR-3:_load_stock 列下推(pyarrow schema 探头→键列+UPDATE_DATE+所需列投影,缺列补 null,全市场调用免 319 列全量 IO);factor MINOR-2:雷达比对轴改 per-(code,REPORT_DATE)(期级新披露 notice 旧于该股全局 max 亦命中;static 损坏→全期命中→重写自愈);strategy M1:行级容错跳过股 attrs['skipped_symbols'] 暴露(防 09-01 静默缩水复燃);strategy M2:view 增 UPDATE_DATE 列=终值新鲜度可观测;strategy m5:no_data/filtered_empty 边界断言;factor MAJOR-2=spec 周日回冲表述勘误(实际=覆盖式 scp -r,正常路径内容已对齐无害,仅推送失败周回退且雷达窗内自愈);strategy M3 value 切换纪律(同日双源漏斗对照+回滚预案)+m4 VPS D+2 时延口径入 spec;MINOR-1 缓至首非零 wash 日实测;新增 7 用例,全套 448 绿 [nas]
2026-09-20 08:59:35 +08:00
static_vintage_check.py
feat(data): hot_rank 挂载+wrapper 时间守卫 [vps]——墙测量5轮收官用户拍板方案A:emappdata 夜间开窗(22:28 实测 OK,晨午4轮全 FAIL),19:30 档失败零连带(单 unit 失败不触断路器 rc 仍 0,不写不标次夜自愈),首夜起 gap_check 即免费持续测量;三处同步=wrapper --types+PANEL_TYPES+EVENT_PANEL_TYPES(15类),零文件=零告警首日成功即成基线;时间守卫=param -Force+非 19:00-23:59 拒绝执行留痕 guard.log(治盘前手动误跑两犯:09-02 08:08/09-04 08:00,盘前拉当日=昨日态错标+marker 锁死当晚真数据);TDD 2 测翻新(白名单拒→放行+注册断言)先红后绿+806 全绿;VPS Parse 预检过+双脚本已 scp 生效位+wall_probe.py 已删 [vps]
2026-09-04 18:46:46 +08:00
stop_all_data_schtasks.ps1
…
updater.py
…
validate_import.py
…
validator.py
…
verify_akshare_e2e.py
…
verify_backup.py
…
verify_config.py
…
verify_corpus.py
fix(data): 分区改多 part 追加写+批量提交,根治 day-1 O(n²) 劣化 [nas]
2026-09-07 07:12:48 +08:00
verify_delisted_in_db.py
…
verify_dmsk.py
feat(dmsk): DOMAINS扩forecast业绩预告/express业绩快报两域——探针钉边界2003/2005年报起,per-domain起始年+4键/3键(ID含NOTICE_DATE披露日),verify五域键唯一 [nas]
2026-09-08 21:16:34 +08:00
verify_e2e.py
…
verify_etf_data.py
…
verify_etf_staging.py
…
verify_increment.py
…
verify_unified_e2e.py
…
xcheck.py
feat(data_platform): xcheck 跨 vendor 对账域上线(spec §20.12.4 终版,对照类实施)——时机=写后即照两档(事件驱动主档挂 wash/corpus 班车+漂移兜底档 Phase 2b);内容=四层漏斗(键完整性→NOTICE_DATE 披露日→估值数值[qt 字段位 vs valuation_baostock peTTM/pbMRQ,阈值 0.1%/1% 分档]→分布漂移缓后)+按需收窄;结果五级路由 L0 静默/L1 舍入档案/L2 报警 suspect/L3 多数派仲裁写 wash pending[XCHECK_L3_AUTO 默认关]/L4 人工;可追溯=findings 每行内嵌三方原值证据快照+trace_id xc-YYYYMMDD-NNNN 贯穿发现→仲裁→重洗→复验+根因分类学七类+报告 tmp+rename 原子+--dry-run;两 lane 接线:corpus_side 挂 run_corpus 尾(ann_em 拉取+qt 快照),fund_side 挂 run_dmsk 尾(读 wash manifests 命中股+新浪三表近12期+两源 NOTICE_DATE 本地对照);xcheck 不推 VPS(NAS 侧质检设施);TDD 19 例全套 484 绿 [nas]
2026-09-22 08:38:37 +08:00
xt_eod_wrapper.ps1
fix(data): xt_eod数据腿切大QMT桥——wrapper注入xtquant_bridge PYTHONPATH+redis凭证env,替代已死的mini栈58610 [vps]
2026-09-10 19:06:35 +08:00
xt_eod.py
perf(xt): get_market_data_ex 显式传六列 field_list——桥fallback快路径(FormulaServer 0.025s vs 空列RPC 0.1-5.8s/次,今晚21:00全量夜班从~3.7h回分钟级);五样本含2北交空列vs六列等值实测EQUIV,TDD断言调用一等参 [vps]
2026-09-11 13:40:01 +08:00