diff --git a/CHANGELOG.md b/CHANGELOG.md index ed349db..3ad96d2 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -133,3 +133,35 @@ **当前中文源:** 36氪(东京RSS)+ FT中文(东京RSS)+ 微博热搜(本地页面抓取) **国内RSS生态现状:** 全线死亡。新华网/新浪/人民/澎湃/凤凰/环球/第一财经/界面 — 均无可用RSS。 + +### 中文新闻源改造 v3.0 — 全面非RSS抓取(2026-06-16 17:30) + +**背景:** 国内主流媒体 RSS 已全线死亡(新华网返回2022旧闻、新浪返回2018旧闻), +需改用非RSS方式获取中文新闻。 + +**改造内容:** +1. 本地 local_fetch_cn.py 全面重写为 v3.0 +2. 移除所有 RSS 源(均失效),改为5路非RSS抓取 + +**新增中文源(5路):** +| 源 | 方式 | 条数/轮 | +|---|------|-------:| +| 新浪新闻API | JSON API (7频道) | 40 | +| 新华网频道页 | 静态HTML解析 | 61 | +| 人民网栏目页 | 静态HTML解析 | 31 | +| 观察者网 | 静态HTML解析 | 50 | +| 微博热搜 | API JSON | 30 | +| **合计** | | **~207** | + +**技术要点:** +- 新浪API返回Unix时间戳 → 精确发布时间 +- 新华网/人民网/观察者网从URL提取日期 → 48h时效过滤 +- 观察到三种URL日期格式:YYYYMMDD、YYYY_MM_DD、YYYY/MMDD +- extract_date_from_url() 统一解析所有格式 + +**国际源(东京 fetch_news.py 12源):** +NYT, CNN, Al Jazeera, TechCrunch, BBC, The Guardian, CNBC, Bloomberg ++ 36氪, FT中文(中文) +每轮 ~300条 + +**中英文源合并后每轮:~500条 → RAW存档 → 精选80条**