fxy/server-ops
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

add ollama local LLM deployment doc

Browse Source
This commit is contained in:
fxy
2026-06-22 21:40:05 +08:00
parent 4160527428
commit 1324589a09
1 changed files with 30 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

30
ollama-local-llm.md Normal file
View File

@ -0,0 +1,30 @@
# Ollama 本地大模型部署说明
部署日期：2026-06-22
部署位置：冯先生笔记本（Redmi Pro14 Ultra5, 32GB, Intel Arc 130T GPU）
## 模型列表
| 模型 | 规模 | 量化 | 大小 | 用途 |
|:---|:---:|:---:|:---:|:---|
| qwen3.5:9b | 9B | Q4_K_M | 5.7 GB | 主力甜点 |
| qwen3:14b | 14.8B | Q4_K_M | 9.3 GB | 备用 |
## 存储路径
D:/ollama/model_data/models (模型文件)
C:/Users/32779/.ollama → D:/ollama/model_data (目录链接)
## 环境变量
OLLAMA_MODELS=D:/ollama/model_data/models
OLLAMA_HOST=0.0.0.0:11434
OLLAMA_IGPU_ENABLE=1
OLLAMA_CONTEXT_LENGTH=65536
## 踩坑
1. OLLAMA_MODELS 必须用 Windows 反斜杠路径
2. 桌面端和命令行端会抢端口 11434
3. C盘 .ollama 目录链接不可删除
4. 默认上下文 4096，需手动改大