changelog: 要闻流水线v0.4(扩源+RAW分层+行情采集)
This commit is contained in:
@ -1,35 +1,29 @@
|
||||
# 运维日志 2026-06-16
|
||||
|
||||
## 要闻流水线改造 v0.3
|
||||
## 今日核心变更
|
||||
|
||||
### 本地抓取层(新增)
|
||||
- local_fetch_cn.py — 新华网3路RSS + 微博热搜,~113条/轮
|
||||
- local_fetch_daemon.py — 守护进程 02:50/08:50/14:50/20:50 触发
|
||||
- SCP推送至东京 /var/www/nav/data/cn_news.json
|
||||
### 1. 新闻扩源 + RAW分层(v0.4)
|
||||
- 东京新增5源:BBC, Guardian, CNBC, FT中文, Bloomberg
|
||||
- 本地清理失效源,保留新华网+微博
|
||||
- 全量->RAW ndjson存档,精选80条->AI摘要
|
||||
- 成果:424条/轮 → RAW全存 + 80条精选
|
||||
- token月费不变(~¥20)
|
||||
|
||||
### 时效过滤
|
||||
- fetch_news.py: 48h窗口
|
||||
- fetch_policy.py: 72h窗口
|
||||
- fetch_research.py: 72h窗口
|
||||
### 2. 行情数据采集(新线)
|
||||
- fetch_market_daily.py 上线
|
||||
- 31品种日线:指数10+汇率6+数字货币12+宏观3
|
||||
- 0 token消耗,~200KB/年
|
||||
- crontab 50 23 * * *
|
||||
|
||||
### 归档(新增)
|
||||
- archive_daily_brief.py → daily-brief/archive/YYYY/MM/YYYY-MM-DD.md
|
||||
- 跨日去重(title+link MD5),无新增不覆盖
|
||||
- 22:40 cron 触发
|
||||
|
||||
### 合并层(新增)
|
||||
- cn_merge.py — 05 3,9,15,21 cron
|
||||
- 合并 cn_news.json + news.json → news.json
|
||||
|
||||
### 日期标记
|
||||
- 所有新闻条目加 [MM-DD] 前缀
|
||||
- 支持 HH:MM / MM-DD HH:MM / 完整日期 三种格式
|
||||
### 3. 今日卡片产出
|
||||
- 00: 正反馈飞轮_智能体协作模式
|
||||
- 01: 项益鸣课程总结
|
||||
- 02: 个人数字体系全景
|
||||
- 03: 素材积累与AI能力的辩证关系
|
||||
- 04: 行情数据采集方案_双轨归档
|
||||
|
||||
### 涉及仓库
|
||||
- server-ops: CHANGELOG 更新
|
||||
- daily-brief: archive_daily_brief.py + 归档数据
|
||||
- inspiration-collector: 课程分析(不变)
|
||||
|
||||
### 守护进程状态
|
||||
- 本地 daemon: 运行中 (PID可通过 tasklist 查看)
|
||||
- 启动脚本: start_cn_fetch.bat
|
||||
- server-ops: CHANGELOG + daily log
|
||||
- daily-brief: fetch_market_daily.py, archive_daily_brief.py, raw/ (首次存档), market_data/ (首次31个CSV)
|
||||
- inspiration-collector: 5篇卡片
|
||||
- Claw工作空间: 完整工作日志
|
||||
|
||||
Reference in New Issue
Block a user