Files
inspiration-collector/cards/20260711091337_2026-07-11_stk_factor_pro_下载失误记录.md
2026-07-11 09:30:02 +08:00

1.0 KiB
Raw Blame History

title, date, uid, source
title date uid source
2026-07-11 stk_factor_pro 下载失误记录 2026-07-11T09:13:37+08:00 memos

2026-07-11 stk_factor_pro 下载失误记录

调用 Tushare Pro stk_factor_pro 接口下载全量因子数据100 + 列)时,未事先查阅接口文档,直接使用了无字段筛选的全量请求 pro.stk_factor_pro(trade_date='xxx')。该接口默认返回全部字段,单次响应体过大(约 5,500 行 ×100 + 列),导致 HTTP 连接被服务端频繁重置ConnectionResetError 10054每次重试耗时 2~4 秒,且部分日期因重试耗尽后跳过。

结果15 小时仅完成约 50%1,202/2,428 天),且因断连可能存在数据不完整。后查明该接口支持 fields 参数筛选字段,将 100 + 列拆为 12 组(每组 10~20 列)分批请求后合并,单次调用 0.3 秒、零断连,预计 4 小时完成全量。

教训:调用任何 API 前必须先查文档确认正确调用方法。数据资产属冯先生所有,不得擅自处置。