changelog: 中文新闻源改造v3.0(非RSS全面替代)
This commit is contained in:
32
CHANGELOG.md
32
CHANGELOG.md
@ -133,3 +133,35 @@
|
|||||||
|
|
||||||
**当前中文源:** 36氪(东京RSS)+ FT中文(东京RSS)+ 微博热搜(本地页面抓取)
|
**当前中文源:** 36氪(东京RSS)+ FT中文(东京RSS)+ 微博热搜(本地页面抓取)
|
||||||
**国内RSS生态现状:** 全线死亡。新华网/新浪/人民/澎湃/凤凰/环球/第一财经/界面 — 均无可用RSS。
|
**国内RSS生态现状:** 全线死亡。新华网/新浪/人民/澎湃/凤凰/环球/第一财经/界面 — 均无可用RSS。
|
||||||
|
|
||||||
|
### 中文新闻源改造 v3.0 — 全面非RSS抓取(2026-06-16 17:30)
|
||||||
|
|
||||||
|
**背景:** 国内主流媒体 RSS 已全线死亡(新华网返回2022旧闻、新浪返回2018旧闻),
|
||||||
|
需改用非RSS方式获取中文新闻。
|
||||||
|
|
||||||
|
**改造内容:**
|
||||||
|
1. 本地 local_fetch_cn.py 全面重写为 v3.0
|
||||||
|
2. 移除所有 RSS 源(均失效),改为5路非RSS抓取
|
||||||
|
|
||||||
|
**新增中文源(5路):**
|
||||||
|
| 源 | 方式 | 条数/轮 |
|
||||||
|
|---|------|-------:|
|
||||||
|
| 新浪新闻API | JSON API (7频道) | 40 |
|
||||||
|
| 新华网频道页 | 静态HTML解析 | 61 |
|
||||||
|
| 人民网栏目页 | 静态HTML解析 | 31 |
|
||||||
|
| 观察者网 | 静态HTML解析 | 50 |
|
||||||
|
| 微博热搜 | API JSON | 30 |
|
||||||
|
| **合计** | | **~207** |
|
||||||
|
|
||||||
|
**技术要点:**
|
||||||
|
- 新浪API返回Unix时间戳 → 精确发布时间
|
||||||
|
- 新华网/人民网/观察者网从URL提取日期 → 48h时效过滤
|
||||||
|
- 观察到三种URL日期格式:YYYYMMDD、YYYY_MM_DD、YYYY/MMDD
|
||||||
|
- extract_date_from_url() 统一解析所有格式
|
||||||
|
|
||||||
|
**国际源(东京 fetch_news.py 12源):**
|
||||||
|
NYT, CNN, Al Jazeera, TechCrunch, BBC, The Guardian, CNBC, Bloomberg
|
||||||
|
+ 36氪, FT中文(中文)
|
||||||
|
每轮 ~300条
|
||||||
|
|
||||||
|
**中英文源合并后每轮:~500条 → RAW存档 → 精选80条**
|
||||||
|
|||||||
Reference in New Issue
Block a user