changelog: 中文新闻源改造v3.0(非RSS全面替代)

This commit is contained in:
fxy
2026-06-16 17:38:25 +08:00
parent eaf6345b5b
commit e5098d1b81

View File

@ -133,3 +133,35 @@
**当前中文源:** 36氪东京RSS+ FT中文东京RSS+ 微博热搜(本地页面抓取) **当前中文源:** 36氪东京RSS+ FT中文东京RSS+ 微博热搜(本地页面抓取)
**国内RSS生态现状** 全线死亡。新华网/新浪/人民/澎湃/凤凰/环球/第一财经/界面 — 均无可用RSS。 **国内RSS生态现状** 全线死亡。新华网/新浪/人民/澎湃/凤凰/环球/第一财经/界面 — 均无可用RSS。
### 中文新闻源改造 v3.0 — 全面非RSS抓取2026-06-16 17:30
**背景:** 国内主流媒体 RSS 已全线死亡新华网返回2022旧闻、新浪返回2018旧闻
需改用非RSS方式获取中文新闻。
**改造内容:**
1. 本地 local_fetch_cn.py 全面重写为 v3.0
2. 移除所有 RSS 源均失效改为5路非RSS抓取
**新增中文源5路**
| 源 | 方式 | 条数/轮 |
|---|------|-------:|
| 新浪新闻API | JSON API (7频道) | 40 |
| 新华网频道页 | 静态HTML解析 | 61 |
| 人民网栏目页 | 静态HTML解析 | 31 |
| 观察者网 | 静态HTML解析 | 50 |
| 微博热搜 | API JSON | 30 |
| **合计** | | **~207** |
**技术要点:**
- 新浪API返回Unix时间戳 → 精确发布时间
- 新华网/人民网/观察者网从URL提取日期 → 48h时效过滤
- 观察到三种URL日期格式YYYYMMDD、YYYY_MM_DD、YYYY/MMDD
- extract_date_from_url() 统一解析所有格式
**国际源(东京 fetch_news.py 12源**
NYT, CNN, Al Jazeera, TechCrunch, BBC, The Guardian, CNBC, Bloomberg
+ 36氪, FT中文中文
每轮 ~300条
**中英文源合并后每轮:~500条 → RAW存档 → 精选80条**