changelog: 要闻流水线v0.4(扩源+RAW分层+行情采集)

This commit is contained in:
fxy
2026-06-16 16:21:39 +08:00
parent b901683236
commit 22b1fb69b8
2 changed files with 47 additions and 28 deletions

View File

@ -1,35 +1,29 @@
# 运维日志 2026-06-16
## 要闻流水线改造 v0.3
## 今日核心变更
### 本地抓取层(新增
- local_fetch_cn.py — 新华网3路RSS + 微博热搜,~113条/轮
- local_fetch_daemon.py — 守护进程 02:50/08:50/14:50/20:50 触发
- SCP推送至东京 /var/www/nav/data/cn_news.json
### 1. 新闻扩源 + RAW分层v0.4
- 东京新增5源BBC, Guardian, CNBC, FT中文, Bloomberg
- 本地清理失效源,保留新华网+微博
- 全量->RAW ndjson存档精选80条->AI摘要
- 成果424条/轮 → RAW全存 + 80条精选
- token月费不变~¥20
### 时效过滤
- fetch_news.py: 48h窗口
- fetch_policy.py: 72h窗口
- fetch_research.py: 72h窗口
### 2. 行情数据采集(新线)
- fetch_market_daily.py 上线
- 31品种日线指数10+汇率6+数字货币12+宏观3
- 0 token消耗~200KB/年
- crontab 50 23 * * *
### 归档(新增)
- archive_daily_brief.py → daily-brief/archive/YYYY/MM/YYYY-MM-DD.md
- 跨日去重title+link MD5无新增不覆盖
- 22:40 cron 触发
### 合并层(新增)
- cn_merge.py — 05 3,9,15,21 cron
- 合并 cn_news.json + news.json → news.json
### 日期标记
- 所有新闻条目加 [MM-DD] 前缀
- 支持 HH:MM / MM-DD HH:MM / 完整日期 三种格式
### 3. 今日卡片产出
- 00: 正反馈飞轮_智能体协作模式
- 01: 项益鸣课程总结
- 02: 个人数字体系全景
- 03: 素材积累与AI能力的辩证关系
- 04: 行情数据采集方案_双轨归档
### 涉及仓库
- server-ops: CHANGELOG 更新
- daily-brief: archive_daily_brief.py + 归档数据
- inspiration-collector: 课程分析(不变)
### 守护进程状态
- 本地 daemon: 运行中 (PID可通过 tasklist 查看)
- 启动脚本: start_cn_fetch.bat
- server-ops: CHANGELOG + daily log
- daily-brief: fetch_market_daily.py, archive_daily_brief.py, raw/ (首次存档), market_data/ (首次31个CSV)
- inspiration-collector: 5篇卡片
- Claw工作空间: 完整工作日志