244 lines
10 KiB
Markdown
244 lines
10 KiB
Markdown
# 开源模型能力阶梯与成本参考
|
||
|
||
> 以 Qwen2.5 系列为主线（当前开源生态最完整、中文最强的系列），辅以对比参照。
|
||
> 硬件配置以 2026 年主流消费级设备为准。
|
||
|
||
---
|
||
|
||
## 一、模型参数量与硬件门槛
|
||
|
||
| 参数量 | 典型模型 | 4bit量化显存 | FP16显存 | 推理速度 (4bit) |
|
||
|:---:|:---|:---:|:---:|:---|
|
||
| **0.5B** | Qwen2.5-0.5B | ~0.6GB | 1GB | 极快 |
|
||
| **1.5B** | Qwen2.5-1.5B | ~1.2GB | 3GB | 飞快 |
|
||
| **3B** | Qwen2.5-3B | ~2.5GB | 6GB | 很快 |
|
||
| **7B-9B** | Qwen2.5-7B/9B, Llama3-8B | ~5-6GB | 16GB | 快 |
|
||
| **14B** | Qwen2.5-14B | ~9GB | 28GB | 中等 |
|
||
| **32B** | Qwen2.5-32B, Yi-34B | ~18GB | 64GB | 偏慢 |
|
||
| **72B** | Qwen2.5-72B | ~40GB | 144GB | 慢 |
|
||
| **110B** | DeepSeek-V2-Lite (MoE) | ~60GB | 220GB | 很慢 |
|
||
| **236B** | DeepSeek-V2 (MoE) | ~130GB | 472GB | 极慢 |
|
||
| **671B** | DeepSeek-V3/R1 (MoE) | ~180GB | 1342GB | 需要多卡 |
|
||
|
||
**关键结论：**
|
||
- 普通笔记本（16-32GB内存）→ 用 4bit 量化，最高跑到 **14B**
|
||
- 24GB 显存单卡（RTX 4090）→ 最高 **32B（4bit）**
|
||
- 48GB 显存单卡（A6000）→ 最高 **72B（4bit）**
|
||
- 想要跑 100B+ → 要么多卡集群，要么 API
|
||
|
||
---
|
||
|
||
## 二、各规模本地部署推荐硬件配置
|
||
|
||
### 0.5B ~ 1.5B（微模型）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **推荐配置** | 任何设备——树莓派、旧手机、路由器都能跑 |
|
||
| **CPU推理** | ✅ 无压力 |
|
||
| **典型设备** | 智能家居中枢、开发板、IoT设备 |
|
||
| **实质价值** | 极低——更适合嵌入到硬件产品中做离线语音/指令识别 |
|
||
|
||
### 3B（轻量级）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **推荐配置** | 无独显的普通笔记本即可 |
|
||
| **CPU推理** | ✅ 流畅（M1/M2芯片上飞快） |
|
||
| **典型设备** | MacBook Air、轻薄本、NUC小主机 |
|
||
| **部署方式** | llama.cpp CPU 推理，功耗极低 |
|
||
| **适合场景** | 7x24小时常驻后台的低成本流水线 |
|
||
|
||
### 7B ~ 9B（甜点级）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **最低配置** | 8GB RAM 的 M1 Mac（4bit，相当流畅） |
|
||
| **推荐配置** | 16GB RAM + 6GB+ 显存独显，或 M1/M2/M3/M4 Mac（16GB+） |
|
||
| **CPU推理** | ⚠️ 勉强可行（M系列芯片上可接受，x86上慢） |
|
||
| **GPU推理** | ✅ RTX 2060 6GB / RTX 3060 12GB / RTX 4060 8GB 均可 |
|
||
| **典型设备** | MacBook Pro 14寸、中端游戏本、NUC+外接显卡 |
|
||
| **部署方式** | Ollama + Q4_K_M 量化，显存占 ~5-6GB |
|
||
| **是否适合7x24** | ✅ 功耗适中，可常驻后台 |
|
||
|
||
### 14B（进阶级）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **最低配置** | 16GB RAM 的 M1 Pro Mac（4bit，中等速度） |
|
||
| **推荐配置** | 32GB RAM + 12GB+ 显存独显，或 M1 Max/M2 Ultra Mac |
|
||
| **CPU推理** | ❌ x86 上太慢；M系列芯片上可用但 token 生成偏慢 |
|
||
| **GPU推理** | ⚠️ RTX 3060 12GB 可跑 4bit，但上下文长度受限 |
|
||
| **典型设备** | Mac Studio、游戏台式机（RTX 4070+）、48GB 内存工作站 |
|
||
| **部署方式** | Ollama + Q4_K_M 量化，显存 ~9GB，16GB 显存卡可流畅跑 |
|
||
| **是否适合7x24** | ⚠️ 功耗较高，长期运行增加散热压力 |
|
||
|
||
### 32B（准旗舰）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **最低配置** | 24GB 显存（4bit 量化刚好装下，无上下文余量） |
|
||
| **推荐配置** | 32GB+ 显存单卡，或 2×16GB 双卡 |
|
||
| **CPU推理** | ❌ 不可行 |
|
||
| **GPU推理（单卡）** | RTX 4090 24GB / RTX 5090 32GB / A5000 24GB |
|
||
| **GPU推理（双卡）** | 2×RTX 3090 / 2×RTX 4090 |
|
||
| **典型设备** | 顶配游戏台式机、深度学习工作站 |
|
||
| **部署方式** | Ollama + Q4_K_M + 部分层 offload 到 CPU |
|
||
| **是否适合7x24** | ❌ 功耗很大（单卡满载 ~300-450W） |
|
||
|
||
### 72B（旗舰级）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **最低配置** | 48GB 显存单卡（4bit） |
|
||
| **推荐配置** | 2×24GB 双卡或单张 A6000 48GB |
|
||
| **GPU推理（单卡）** | A6000 48GB / A100 40GB / RTX 4090×2 |
|
||
| **GPU推理（双卡）** | 2×RTX 4090 / 2×A5000 |
|
||
| **典型设备** | 专业深度学习工作站、租用云端GPU实例 |
|
||
| **部署方式** | vLLM / TensorRT-LLM / ExLlamaV2 多卡并行 |
|
||
| **是否适合7x24** | ❌ 电费和散热成本极高 |
|
||
|
||
### 100B+（MoE 超大模型）
|
||
|
||
| 维度 | 说明 |
|
||
|:---|:---|
|
||
| **本地部署** | ❌ 不现实（需要 8×A100 级别） |
|
||
| **正确姿势** | 用 API 调用——成本远低于自建 |
|
||
| **例外** | DeepSeek-V3 671B 用 MoE 架构，实际推理激活 ~37B 参数，可通过极致的量化+多卡勉强运行，但体验远不如 API |
|
||
| **结论** | 这个级别的模型，**不要考虑本地部署**，这不是设备问题，是电力、散热、维护的综合成本问题 |
|
||
|
||
---
|
||
|
||
## 三、硬件速查表
|
||
|
||
| 硬件 | 典型设备 | 最高可跑 (4bit) | 推荐级别 | 估算成本 (整机) |
|
||
|:---|:---|---:|:---:|:---:|
|
||
| 无独显轻薄本 | MacBook Air, 办公本 | **3B** | ⭐⭐⭐ CPU推理可用 | 已有设备 |
|
||
| M1/M2 Mac (16GB) | MacBook Air/Pro | **7B** | ⭐⭐⭐⭐ 甜点 | ¥8,000-12,000 |
|
||
| M1 Pro/Max (32GB) | MacBook Pro 14/16 | **14B** | ⭐⭐⭐⭐⭐ 最佳移动方案 | ¥15,000-25,000 |
|
||
| 6-8GB 显卡 | RTX 2060/4060 | **9B** | ⭐⭐⭐ 入门独显方案 | ¥5,000-8,000 (整机) |
|
||
| 12GB 显卡 | RTX 3060/4070 | **14B** | ⭐⭐⭐⭐ 性价比之选 | ¥8,000-12,000 (整机) |
|
||
| 16GB 显卡 | RTX 4080 Super | **14B-32B** | ⭐⭐⭐⭐ 流畅体验 | ¥12,000-18,000 (整机) |
|
||
| 24GB 显卡 | RTX 4090/5090 | **32B** | ⭐⭐⭐ 本地天花板 | ¥20,000-35,000 (整机) |
|
||
| 48GB+ 专业卡 | A6000/A100 | **72B** | ⭐⭐ 土豪专属 | 卡本身 ¥50,000+ |
|
||
| 多卡服务器 | 8×A100 | 671B | ⭐ 不是个人该干的 | ¥500,000+ |
|
||
|
||
**一句话速查：**
|
||
- 想体验 → **M1 Mac 16GB + Ollama**，跑 7B
|
||
- 要够用 → **RTX 3060 12GB + Ollama**，跑 14B
|
||
- 要极致 → **RTX 4090 24GB**，跑 32B
|
||
- 超大模型 → **别想了，用 API**
|
||
|
||
---
|
||
|
||
## 四、各规模能力画像
|
||
|
||
### 0.5B ~ 1.5B（微模型）
|
||
|
||
| 维度 | 评价 |
|
||
|:---|:---|
|
||
| **能力** | 能听懂指令，能做简单分类，能写一句话的回复 |
|
||
| **实质价值** | 极低——除非你的任务是"把这段文字分为A/B/C三类"这种级别 |
|
||
| **用途** | 标签预处理、敏感词过滤、简单的格式转换 |
|
||
| **适合你吗** | ❌ 价值有限，不如直接写正则或者小脚本 |
|
||
|
||
### 3B（轻量级）
|
||
|
||
| 维度 | 评价 |
|
||
|:---|:---|
|
||
| **能力** | 能做摘要（200字以内）、翻译短句、简单问答。知识储备很少，容易胡说 |
|
||
| **实质价值** | 有限。可以用在低要求的流水线环节 |
|
||
| **用途** | Memos标签自动打标、短文本分类、简单的中英互译 |
|
||
| **适合你吗** | ⚠️ 如果你的Memos标签自动化需要，3B够用但效果不如7B |
|
||
|
||
### 7B ~ 9B（甜点级）
|
||
|
||
| 维度 | 评价 |
|
||
|:---|:---|
|
||
| **能力** | 指令跟随成熟，常识知识充实。能写代码，能做中等长度摘要。中文能力优秀 |
|
||
| **实质价值** | **性价比最高的区间** |
|
||
| **用途** | 标签自动化、RAG问答、代码补全、日报草稿、简单公文草稿、翻译 |
|
||
| **适合你吗** | ✅ Memos标签预处理、本地知识库RAG、灵感卡片初稿 |
|
||
|
||
### 14B（进阶级）
|
||
|
||
| 维度 | 评价 |
|
||
|:---|:---|
|
||
| **能力** | 接近闭源小模型（GPT-3.5水平）。推理能力有质的提升，长文能力增强 |
|
||
| **实质价值** | 比7B明显好，但硬件需求翻倍 |
|
||
| **用途** | 复杂分类、结构化提取、中等推理、代码调试 |
|
||
| **适合你吗** | ⚠️ 如果在笔记本上跑，4bit量化勉强可行，但不流畅 |
|
||
|
||
### 32B（准旗舰）
|
||
|
||
| 维度 | 评价 |
|
||
|:---|:---|
|
||
| **能力** | 接近GPT-4-mini水平。推理、代码、写作都达到实用级别 |
|
||
| **实质价值** | 本地部署的"天花板级"体验 |
|
||
| **用途** | 复杂分析、长文写作、策略代码、中等深度的思考 |
|
||
| **适合你吗** | ❌ 你的笔记本跑不动（需要24GB显存卡） |
|
||
|
||
### 72B+（旗舰级）
|
||
|
||
| 维度 | 评价 |
|
||
|:---|:---|
|
||
| **能力** | 接近DeepSeek-V3/GPT-4水平。深度推理、创造性写作、复杂代码 |
|
||
| **实质价值** | 真正能和API大模型掰手腕 |
|
||
| **用途** | 你目前用DeepSeek做的一切 |
|
||
| **适合你吗** | ❌ 家用设备跑不动，需要多卡服务器 |
|
||
|
||
---
|
||
|
||
## 六、你当前的部署条件能跑什么
|
||
|
||
你的是笔记本（未明确GPU型号）：
|
||
- 如果**无独显（纯CPU/核显）**：Ollama + CPU模式，最高跑 **3B**（巨慢，不推荐）
|
||
- 如果**有 6-8GB 显存**：最高 **7-9B 4bit**
|
||
- 如果**有 16-24GB 显存**：最高 **14B-32B 4bit**
|
||
|
||
建议：**Ollama + Qwen2.5-7B-Instruct-4bit** 起步，这是性价比最高的起点。
|
||
|
||
---
|
||
|
||
## 七、成本对比：本地 vs API
|
||
|
||
| 模型 | 部署方式 | 1万次调用成本 | 10万次调用成本 | 年成本 |
|
||
|:---|:---|:---:|:---:|:---:|
|
||
| Qwen2.5-7B (4bit) | 本地 (Ollama) | **电费 ~¥2** | 电费 ~¥20 | ~¥240/年 |
|
||
| Qwen2.5-14B (4bit) | 本地 | 电费 ~¥5 | 电费 ~¥50 | ~¥600/年 |
|
||
| DeepSeek-V3 API | 在线 | ¥200-400 | ¥2,000-4,000 | ~¥1-2万/年 |
|
||
| GPT-4o API | 在线 | ¥800-1,600 | ¥8,000-16,000 | ~¥5-10万/年 |
|
||
|
||
**但注意**：这里的"成本"只是API费用 vs 电费。本地模型有隐匿成本：
|
||
|
||
| 成本类型 | 说明 |
|
||
|:---|:---|
|
||
| 硬件折旧 | 跑7B-14B需要一定配置的显卡 |
|
||
| 运维成本 | 部署、更新、配置Ollama、写调用代码 |
|
||
| 效果损失 | 本地9B做不到DeepSeek的深度分析 |
|
||
| 电量消耗 | 笔记本满载跑模型，电池损耗加速 |
|
||
|
||
---
|
||
|
||
## 八、对你的具体建议
|
||
|
||
你现在的工作流是"DeepSeek API 做深度分析 + 智能体做执行"，这个模式已经很成熟了。
|
||
|
||
如果想引入本地小模型，最有价值的切入点是：
|
||
|
||
```
|
||
Memos (碎片)
|
||
→ 本地 7B (自动打标签 + 粗分类) ← 新增，0成本
|
||
→ DeepSeek API (深度分析 + 日报) ← 不变
|
||
→ Gitea (存档)
|
||
```
|
||
|
||
这样每天22:00的日报分析，DeepSeek输入的数据已经是**预分类、预打标、预清洗过的**，上下文更干净。而标签预处理工作完全走本地，0 API 费用。
|
||
|
||
Ollama 一条命令就能跑起来：
|
||
```bash
|
||
ollama run qwen2.5:7b
|
||
```
|
||
|
||
然后写个十几行 Python 的调用脚本，挂到灵感收集器的流水线里做预处理层就行。
|