From 1324589a098b5d0c87b520fc518220f39ccf465a Mon Sep 17 00:00:00 2001 From: fxy Date: Mon, 22 Jun 2026 21:40:05 +0800 Subject: [PATCH] add ollama local LLM deployment doc --- ollama-local-llm.md | 30 ++++++++++++++++++++++++++++++ 1 file changed, 30 insertions(+) create mode 100644 ollama-local-llm.md diff --git a/ollama-local-llm.md b/ollama-local-llm.md new file mode 100644 index 0000000..e4ec5c2 --- /dev/null +++ b/ollama-local-llm.md @@ -0,0 +1,30 @@ +# Ollama 本地大模型部署说明 + +部署日期:2026-06-22 +部署位置:冯先生笔记本(Redmi Pro14 Ultra5, 32GB, Intel Arc 130T GPU) + +## 模型列表 + +| 模型 | 规模 | 量化 | 大小 | 用途 | +|:---|:---:|:---:|:---:|:---| +| qwen3.5:9b | 9B | Q4_K_M | 5.7 GB | 主力甜点 | +| qwen3:14b | 14.8B | Q4_K_M | 9.3 GB | 备用 | + +## 存储路径 + +D:/ollama/model_data/models (模型文件) +C:/Users/32779/.ollama → D:/ollama/model_data (目录链接) + +## 环境变量 + +OLLAMA_MODELS=D:/ollama/model_data/models +OLLAMA_HOST=0.0.0.0:11434 +OLLAMA_IGPU_ENABLE=1 +OLLAMA_CONTEXT_LENGTH=65536 + +## 踩坑 + +1. OLLAMA_MODELS 必须用 Windows 反斜杠路径 +2. 桌面端和命令行端会抢端口 11434 +3. C盘 .ollama 目录链接不可删除 +4. 默认上下文 4096,需手动改大