add ollama local LLM deployment doc
This commit is contained in:
30
ollama-local-llm.md
Normal file
30
ollama-local-llm.md
Normal file
@ -0,0 +1,30 @@
|
||||
# Ollama 本地大模型部署说明
|
||||
|
||||
部署日期:2026-06-22
|
||||
部署位置:冯先生笔记本(Redmi Pro14 Ultra5, 32GB, Intel Arc 130T GPU)
|
||||
|
||||
## 模型列表
|
||||
|
||||
| 模型 | 规模 | 量化 | 大小 | 用途 |
|
||||
|:---|:---:|:---:|:---:|:---|
|
||||
| qwen3.5:9b | 9B | Q4_K_M | 5.7 GB | 主力甜点 |
|
||||
| qwen3:14b | 14.8B | Q4_K_M | 9.3 GB | 备用 |
|
||||
|
||||
## 存储路径
|
||||
|
||||
D:/ollama/model_data/models (模型文件)
|
||||
C:/Users/32779/.ollama → D:/ollama/model_data (目录链接)
|
||||
|
||||
## 环境变量
|
||||
|
||||
OLLAMA_MODELS=D:/ollama/model_data/models
|
||||
OLLAMA_HOST=0.0.0.0:11434
|
||||
OLLAMA_IGPU_ENABLE=1
|
||||
OLLAMA_CONTEXT_LENGTH=65536
|
||||
|
||||
## 踩坑
|
||||
|
||||
1. OLLAMA_MODELS 必须用 Windows 反斜杠路径
|
||||
2. 桌面端和命令行端会抢端口 11434
|
||||
3. C盘 .ollama 目录链接不可删除
|
||||
4. 默认上下文 4096,需手动改大
|
||||
Reference in New Issue
Block a user