From 22b1fb69b8a3f44f212803c068568540e8769e8c Mon Sep 17 00:00:00 2001 From: fxy Date: Tue, 16 Jun 2026 16:21:39 +0800 Subject: [PATCH] =?UTF-8?q?changelog:=20=E8=A6=81=E9=97=BB=E6=B5=81?= =?UTF-8?q?=E6=B0=B4=E7=BA=BFv0.4(=E6=89=A9=E6=BA=90+RAW=E5=88=86=E5=B1=82?= =?UTF-8?q?+=E8=A1=8C=E6=83=85=E9=87=87=E9=9B=86)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- CHANGELOG.md | 25 +++++++++++++++++++++++ daily/2026-06-16.md | 50 ++++++++++++++++++++------------------------- 2 files changed, 47 insertions(+), 28 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index 79dafda..62f3103 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -94,3 +94,28 @@ - 东京 ~/scripts/: fetch_news.py, fetch_policy.py, fetch_research.py, cn_merge.py(新) - 东京 ~/daily-brief/: archive_daily_brief.py(新), archive/2026/06/2026-06-16.md - 本地 Claw/: local_fetch_cn.py(新), local_fetch_daemon.py(新), start_cn_fetch.bat(新) + +### 要闻流水线改造 v0.4 — 扩源 + RAW分层 + 精选器 + +**改动:** +1. fetch_news.py v2.0 — 新增 5 个国际源(BBC, The Guardian, CNBC, FT中文, Bloomberg),12源/轮约342条 +2. local_fetch_cn.py v2.0 — 清理失效源(人民网/观察者网/腾讯/澎湃),保留新华网3路+微博 +3. cn_merge.py v2.0 — 分两路输出:全量→news_raw.json+RAW ndjson,精选→news.json(送AI摘要) +4. 新增 selector.py — 多策略评分精选器(来源权重+时效+多样性,16主题分类) +5. 行情数据采集 — 新增 fetch_market_daily.py,31品种日线OHLCV,daily-brief/market_data/ +6. RAW存档机制 — 所有新闻全量写入 daily-brief/raw/YYYY-MM-DD.ndjson(逐行JSON,0 token) + +**架构变更:** +- 抓取层从~200条/轮扩张至~500条/轮,RAW全量存档 +- AI摘要层从全量处理改为精选80条,token成本不变 +- 新增行情数据采集线(事件线+价格线双轨归档) + +**crontab 更新:** +- 50 23 * * * — 行情日线采集(新增) +- 10 0 * * * — RAW存档推送到Gitea(新增) +- 05 3,9,15,21 — cn_merge v2(含selector精选,更新) + +**涉及文件:** +- 东京 ~/scripts/: fetch_news.py, cn_merge.py (更新), selector.py (新) +- 东京 ~/daily-brief/: fetch_market_daily.py (新), raw/ (新目录) +- 本地 Claw/: local_fetch_cn.py (更新) diff --git a/daily/2026-06-16.md b/daily/2026-06-16.md index 2947d57..04fa983 100644 --- a/daily/2026-06-16.md +++ b/daily/2026-06-16.md @@ -1,35 +1,29 @@ # 运维日志 2026-06-16 -## 要闻流水线改造 v0.3 +## 今日核心变更 -### 本地抓取层(新增) -- local_fetch_cn.py — 新华网3路RSS + 微博热搜,~113条/轮 -- local_fetch_daemon.py — 守护进程 02:50/08:50/14:50/20:50 触发 -- SCP推送至东京 /var/www/nav/data/cn_news.json +### 1. 新闻扩源 + RAW分层(v0.4) +- 东京新增5源:BBC, Guardian, CNBC, FT中文, Bloomberg +- 本地清理失效源,保留新华网+微博 +- 全量->RAW ndjson存档,精选80条->AI摘要 +- 成果:424条/轮 → RAW全存 + 80条精选 +- token月费不变(~¥20) -### 时效过滤 -- fetch_news.py: 48h窗口 -- fetch_policy.py: 72h窗口 -- fetch_research.py: 72h窗口 +### 2. 行情数据采集(新线) +- fetch_market_daily.py 上线 +- 31品种日线:指数10+汇率6+数字货币12+宏观3 +- 0 token消耗,~200KB/年 +- crontab 50 23 * * * -### 归档(新增) -- archive_daily_brief.py → daily-brief/archive/YYYY/MM/YYYY-MM-DD.md -- 跨日去重(title+link MD5),无新增不覆盖 -- 22:40 cron 触发 - -### 合并层(新增) -- cn_merge.py — 05 3,9,15,21 cron -- 合并 cn_news.json + news.json → news.json - -### 日期标记 -- 所有新闻条目加 [MM-DD] 前缀 -- 支持 HH:MM / MM-DD HH:MM / 完整日期 三种格式 +### 3. 今日卡片产出 +- 00: 正反馈飞轮_智能体协作模式 +- 01: 项益鸣课程总结 +- 02: 个人数字体系全景 +- 03: 素材积累与AI能力的辩证关系 +- 04: 行情数据采集方案_双轨归档 ### 涉及仓库 -- server-ops: CHANGELOG 更新 -- daily-brief: archive_daily_brief.py + 归档数据 -- inspiration-collector: 课程分析(不变) - -### 守护进程状态 -- 本地 daemon: 运行中 (PID可通过 tasklist 查看) -- 启动脚本: start_cn_fetch.bat +- server-ops: CHANGELOG + daily log +- daily-brief: fetch_market_daily.py, archive_daily_brief.py, raw/ (首次存档), market_data/ (首次31个CSV) +- inspiration-collector: 5篇卡片 +- Claw工作空间: 完整工作日志