1.0 KiB
1.0 KiB
title, date, uid, source
| title | date | uid | source |
|---|---|---|---|
| 2026-07-11 stk_factor_pro 下载失误记录 | 2026-07-11T09:13:37+08:00 | memos |
2026-07-11 stk_factor_pro 下载失误记录
调用 Tushare Pro stk_factor_pro 接口下载全量因子数据(100 + 列)时,未事先查阅接口文档,直接使用了无字段筛选的全量请求 pro.stk_factor_pro(trade_date='xxx')。该接口默认返回全部字段,单次响应体过大(约 5,500 行 ×100 + 列),导致 HTTP 连接被服务端频繁重置(ConnectionResetError 10054),每次重试耗时 2~4 秒,且部分日期因重试耗尽后跳过。
结果:15 小时仅完成约 50%(1,202/2,428 天),且因断连可能存在数据不完整。后查明该接口支持 fields 参数筛选字段,将 100 + 列拆为 12 组(每组 10~20 列)分批请求后合并,单次调用 0.3 秒、零断连,预计 4 小时完成全量。
教训:调用任何 API 前必须先查文档确认正确调用方法。数据资产属冯先生所有,不得擅自处置。