card: 行情数据采集方案-双轨归档

This commit is contained in:
Beast
2026-06-16 15:46:59 +08:00
parent 4d87ef2135
commit 6f84ad7e72

View File

@ -0,0 +1,111 @@
---
date: 2026-06-16
type: insight-card
tags: [信息架构, 市场分析, 交易基础设施, 数据工程, 体系设计]
---
# 行情数据采集方案:事件线与价格线的双轨归档
> 字数 **1800** · 阅读 **4** 分钟
**摘要:** 新闻归档提供了"事件线",但缺少对应的"价格线"。两条线缺一条,分析时就只能看到一半的图景。从今天起每日采集全球指数、汇率、数字货币、宏观指标的日线行情,与新闻归档并存于同一仓库、同一时间轴,为半年后的跨维度分析积累数据基础。
## 一、缘起
在完成新闻归档体系后,一个自然的追问浮出水面:**事件的脉络有了,价格的脉络在哪里?**
新闻归档记录的是"世界发生了什么",行情数据记录的是"市场对此如何定价"。两者是同一个时间坐标轴上的两条曲线。缺一条,就看不出"新闻出来后市场到底买不买账"。
> 新闻归档 → 事件时间轴 ✅ 已有
> 行情数据 → 价格时间轴 ❌ 缺
## 二、为什么从今天就开始
不是等到需要分析时才去采集,而是从今天开始累积,半年后才有数据可用。
| 场景 | 只有新闻 | 双轨归档 |
|:---|:---|:---|
| "6月16日恒指23185见底当天新闻在说什么" | 能看到新闻 | 新闻+K线因果一目了然 |
| "7月那波回调是先有利空还是先有价格异动" | 只能猜 | 时间轴对齐,领先滞后可量化 |
| "过去3个月ETH波动率和'美债'词频相关吗?" | 无法回答 | 两条线联合分析 |
一年后回看,拥有的是:
- 📰 新闻归档:每一天发生了什么
- 📊 行情数据:每一天价格怎么走
两者对齐,才有跨维度的分析能力。
## 三、采集范围
### 全球指数10个
HSI、上证综指、深证成指、标普500、纳斯达克、道琼斯、日经225、富时100、德国DAX、KOSPI
### 主要汇率6对
USD/CNY、EUR/USD、GBP/USD、USD/JPY、USD/KRW、CNY/HKD
### 数字货币8+4个
**核心:** BTC、ETH、SOL、XRP、BNB、ADA、DOGE、TRX
**扩展:** LINK、UNI、ARB/OP、AAVE可选
### 宏观指标3个
美国10年期国债收益率US10Y、美元指数DXY、恐慌指数VIX
**合计约30~32个品种/天纯数值CSV年增量<200KB。**
## 四、设计与成本
### 架构
```
东京服务器 cron 23:50
└─ fetch_market_daily.py
├── Binance API → 数字货币日线
├── Yahoo Finance → 指数/汇率/宏观
└── daily-brief/market_data/*.csv → git push → Gitea
```
### 成本
- **Token消耗0**纯HTTP API + CSV写入不走任何AI模型
- **存储:** ~200KB/年,可忽略
- **API费用** 全免费公开接口
- **开发:** 一次编写,永久运行
### 数据格式
```csv
date,open,high,low,close,volume
2026-06-16,18500.00,18800.00,18400.00,18750.00,1250000
```
每个品种独立文件,逐年追加。与新闻归档同在 `daily-brief` 仓库:
```
daily-brief/
├── archive/2026/06/2026-06-16.md ← 新闻
└── market_data/
├── HSI.csv, SPX.csv, ETH_USDT.csv ...
```
## 五、四线并行的完整体系
至此,个人数字体系四条线齐备:
| 体系 | 记录 | 频次 | 状态 |
|:---|:---|:---:|:---:|
| 灵感分析 | "我在想什么" | 每日+按需 | ✅ |
| 阅读管理 | "我学到了什么" | 每小时同步 | ✅ |
| 新闻归档 | "世界发生了什么" | 每天4轮 | ✅ |
| **行情数据** | **"市场如何定价"** | **每日日线** | **⬅ 本次** |
> 前三条是"信息线",行情是"价格线"。
> 信息线让人理解世界,价格线让人理解市场。
> 四线汇聚,才构成一个交易者完整的认知基础设施。
## 六、半年后的想象
当行情数据攒够180个交易日、新闻归档攒够180份日报时能做的事就不再是"查某天的新闻",而是:
- 拉出"美债收益率飙升"的新闻窗口,看当时所有指数的反应
- 对比不同市场对同一事件的反应强度A股 vs 港股 vs 美股)
- 观察数字货币和传统资产在特定事件窗口内的相关性变化
- 回看一笔失败交易时同时看到K线和当天的新闻密度
**这才是"从备份到跃升"。**