本地部署大模型完整指南

本文系统梳理本地部署大语言模型（LLM）的完整流程，涵盖工具选型、模型选择、硬件门槛、与 API 调用的核心差异，以及对 Agent 工作流（如 OpenCode、Cline、Aider）的支持情况。

数据时效：2026-04。当前开源模型已全面转向 MoE（混合专家）架构——总参数决定显存需求，激活参数决定推理速度，两者必须分开理解，不可混为一谈。

一、为什么要本地部署？

二、本地部署框架选型

2.1 Ollama（入门首选）

官网： https://ollama.com | 平台： macOS / Linux / Windows（原生）

Ollama 是目前生态最完善的本地推理框架，一行命令拉取并运行主流模型，模型库已收录 4500+ 个模型。

ollama run qwen3:8b           # 通用对话
ollama run glm-4.7-flash      # 智谱 GLM，代理/代码任务
ollama run gemma4:9b          # 多模态，支持图像输入
ollama run qwen2.5-coder:14b  # 代码开发
ollama serve                  # 后台 API 服务模式
ollama list                   # 查看已下载模型

核心特点：

• 内置 REST API（http://localhost:11434），兼容 OpenAI 格式
• 支持 CUDA / Metal（Apple Silicon）/ ROCm / Vulkan 加速
• 主流新模型通常 day-0 上线

⚠️ GLM-4.7 / GLM-4.7-Flash 注意：模型已上架 Ollama，但部分用户反馈存在 chat template 兼容问题。如遇乱输出，优先改用 LM Studio 或 llama.cpp（均完全支持）。

2.2 LM Studio（GUI 首选）

官网： https://lmstudio.ai | 平台： macOS / Windows / Linux

面向非技术用户的图形界面工具，内置 GGUF 模型搜索与下载，集成 Chat UI 和本地服务器。GLM-4.7 系列在此运行最稳定。

2.3 llama.cpp（底层高性能）

仓库： https://github.com/ggerganov/llama.cpp

C++ 纯推理引擎，是 Ollama / LM Studio 的底层基础。支持 CPU 纯推理，GGUF 格式，极致压缩内存，是 GLM-4.7-Flash GGUF 的官方推荐运行方式。

./llama-cli -m ./glm-4.7-flash.gguf -p "你好" --tool-call-parser glm47 -n 512

2.4 其他选项

三、可选模型一览（2026 年 4 月）

⚠️ 重要区分： 本节区分"可本地部署（消费级/专业级硬件）“和"仅适合云端/集群"的模型，避免误导实操选型。

3.1 通用推理 / 对话模型

Gemma 4 各规格详解（本地最友好，Google 出品）：

3.2 代码专用模型

3.3 轻量 / 边缘模型（低配设备首选）

3.4 GLM-4.7-Flash 专项说明

GLM-4.7-Flash 是智谱 AI（Z.AI）于 2026 年 1 月发布的本地部署最值得关注的新模型之一，核心卖点：

部署方式（推荐优先级）：

# 方式一：LM Studio（最稳定，推荐）
# 搜索 glm-4.7-flash，下载 Q4_K_M 量化版

# 方式二：llama.cpp（官方推荐 GGUF 运行方式）
./llama-cli -m ./glm-4.7-flash-q4_k_m.gguf --tool-call-parser glm47 -n 512

# 方式三：Ollama（已上架，部分用户报告 chat template 兼容问题）
ollama run glm-4.7-flash

四、硬件要求详解

4.1 量化精度速查

稠密模型显存速查（MoE 模型以总参数量计算显存，以激活参数量估算速度）：

4.2 GPU 推理显存门槛

Apple Silicon 说明： M 系列统一内存 CPU/GPU 共享，Metal 加速效果出色：

• M4 Pro 48GB → Qwen3.5 32B Q4 / Mistral Small 4 流畅
• M3/M4 Max 96–128GB → Qwen3-Coder-Next 80B MoE Q4 / Llama 4 70B Q4

4.3 CPU 推理（无 GPU 方案）

MoE 模型 CPU 推理优势：GLM-4.7-Flash（3B active）在 CPU 上速度远快于同等显存消耗的 7B 稠密模型。

4.4 存储要求

• 7B Q4 ≈ 4–5 GB；GLM-4.7-Flash Q4 ≈ 5–6 GB；32B Q4 ≈ 18–20 GB；70B Q4 ≈ 40–45 GB
• 超大 MoE 模型（Qwen3.5 397B Q4 ≈ 200+ GB）需要大容量专用存储
• 推荐 NVMe SSD，模型加载速度与磁盘 I/O 直接相关

五、Ollama 完整部署流程（以 Windows 为例）

第一步：安装 Ollama

访问 https://ollama.com/download 下载安装包，安装后作为系统服务运行。

ollama --version  # 验证安装

第二步：下载并运行模型

# ── 通用对话 ───────────────────────────────────────────
ollama run qwen3:8b               # 中文通用，约 5 GB

# ── 代码 + Agent（核心推荐）──────────────────────────
ollama run glm-4.7-flash          # 智谱，200K 上下文，~5 GB，Agent 原生
                                  # ⚠️ 如遇异常改用 LM Studio
ollama run qwen2.5-coder:14b      # 阿里代码模型，约 8 GB
ollama run qwen3-coder-next:q4_K_M  # 旗舰代码，约 45 GB，需高配

# ── 推理任务 ──────────────────────────────────────────
ollama run deepseek-r1:14b        # 推理链，约 8 GB

# ── 多模态 ────────────────────────────────────────────
ollama run gemma4:9b              # 图像 + 文本，约 6 GB

# ── 轻量/低配 ─────────────────────────────────────────
ollama run gemma4:e4b             # 3 GB，笔记本可用

# 浏览全部模型：https://ollama.com/library

第三步：配置 GPU 加速

ollama ps  # GPU 列显示 "100%" 表示完全 GPU 推理

若 GPU 未被识别：

1. 确认安装最新 NVIDIA 驱动（CUDA 12.x+）
2. 设置 OLLAMA_GPU_LAYERS=999 强制全 GPU

第四步：配置为 API 服务

Ollama 默认监听 http://localhost:11434，暴露 OpenAI 兼容接口：

# OpenAI 兼容格式（适配大多数 Agent 工具）
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-4.7-flash",
    "messages": [{"role": "user", "content": "帮我写一个快速排序"}]
  }'

第五步：配置 Open WebUI（可选）

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main
# 访问 http://localhost:3000

六、本地部署 vs. 调用云端 API

6.1 综合对比

6.2 2026 年能力格局

• GLM-5 / GLM-5.1：综合排行榜 #1/#2，本地不可行（860 GB VRAM），建议调用智谱 API
• Qwen3.5-Max：LM Arena 全球第五，高配本地可用（122B MoE Q4 ~60GB）
• GLM-4.7-Flash：本地能力最亮眼的新星，6GB 显存实现 200K 上下文 + Agent 原生
• Gemma 4 31B：单卡 17GB Q4，GPT-4 级能力，85 tok/s，极具性价比

结论： 日常开发/写作本地 6–24GB 显存已够用（GLM-4.7-Flash / Qwen2.5-Coder 14B）；需要 GLM-5.1 级别能力，调 API 更务实。

6.3 成本临界点估算

七、本地模型对 Agent 工作流的支持

7.1 Agent 对模型的核心要求

1. 工具调用（Function Calling）：必须支持结构化 JSON 工具调用
2. 长上下文：代码 Agent 常需 32K–200K tokens
3. 指令遵循：严格按格式输出
4. 推理能力：复杂任务分解与规划
5. 多轮稳定性：多步工具调用不丢失上下文

7.2 代码 Agent 模型推荐（2026 最新）

7.3 通用 Agent / 工作流

7.4 Ollama 对接 Agent 工具配置

Cline（VS Code 插件）： 选择 “Ollama” 作为 Provider，填入模型名称，例如 glm-4.7-flash 或 qwen2.5-coder:14b。

Continue.dev（.continue/config.json）：

{
  "models": [
    {
      "title": "GLM-4.7-Flash（性价比首选）",
      "provider": "ollama",
      "model": "glm-4.7-flash"
    },
    {
      "title": "Qwen3-Coder-Next（旗舰）",
      "provider": "ollama",
      "model": "qwen3-coder-next:q4_K_M"
    },
    {
      "title": "Qwen2.5-Coder 14B（备用）",
      "provider": "ollama",
      "model": "qwen2.5-coder:14b"
    }
  ]
}

OpenCode / Aider：

{
  "model": {
    "provider": "ollama",
    "id": "glm-4.7-flash",
    "base_url": "http://localhost:11434"
  }
}

7.5 本地模型 Agent 的局限性

• 工具调用稳定性：7B 稠密模型以下格式容易出错；GLM-4.7-Flash 虽仅 3B active，但 Agent 原生训练，稳定性优于同显存稠密模型
• 顶级 Agent 任务：GLM-5.1 在 SWE-bench Pro / Terminal Bench 排名第一，但本地不可用；复杂跨仓库重构仍推荐云端 API
• 量化损失：Q2_K 精度下工具调用出错率显著升高，建议 Agent 任务最低使用 Q4_K_M

八、进阶配置与优化

8.1 Modelfile 自定义（Ollama）

FROM glm-4.7-flash

SYSTEM """
你是一名专业的 Python 开发专家，擅长代码审查和调试。
回答时优先给出可运行代码示例，并说明关键逻辑。
"""

PARAMETER temperature 0.2
PARAMETER top_p 0.9
PARAMETER num_ctx 65536

ollama create my-glm-coder -f ./Modelfile
ollama run my-glm-coder

8.2 关键推理参数

8.3 多 GPU / 性能优化

export OLLAMA_GPU_LAYERS=999        # 所有层放 GPU
export OLLAMA_NUM_PARALLEL=4        # 并发请求数
export OLLAMA_MAX_LOADED_MODELS=3   # 内存中保留模型数

# 查看实时推理速度
ollama run glm-4.7-flash --verbose

九、常见问题排查

十、快速选型指南（2026 年 4 月）

你的 GPU 显存是多少？
│
├─ < 6 GB VRAM
│   └─ 通用/代码 → Gemma 4 E4B（~3GB，多模态，256K）
│                   或 Phi-4-mini（~4GB，数理推理）
│
├─ 6–8 GB VRAM  ← 强烈推荐 GLM-4.7-Flash
│   ├─ 代码/Agent → GLM-4.7-Flash Q4（~5–6GB，200K 上下文，Agent 原生）
│   └─ 通用对话  → Qwen3.5 7B / Gemma 4 E4B
│
├─ 12–16 GB VRAM
│   ├─ 代码任务  → Qwen2.5-Coder 14B Q8（~16GB）
│   ├─ 通用对话  → Mistral Small 4 Q4（24B，256K，~14GB）
│   └─ 推理任务  → DeepSeek-R1 14B Q4（~8GB）
│
├─ 24 GB VRAM（RTX 3090 / 4090）
│   ├─ 代码任务  → Qwen2.5-Coder 32B Q4（~18GB）
│   ├─ 通用对话  → Gemma 4 26B MoE Q4（~18GB，多模态，256K）
│   └─ 推理任务  → DeepSeek-R1 32B Q4（~18GB）
│
├─ 32 GB VRAM（RTX 5090）
│   ├─ 通用/代码 → Qwen3.5 32B Q8（~32GB）
│   └─ 高质量   → Llama 4 70B MoE Q2（激活 37B）
│
├─ 双卡 / 48GB+（3090×2 / A6000）
│   └─ 旗舰     → Qwen3.5 122B MoE Q4 / Qwen3-Coder-Next 80B MoE Q4
│
└─ Apple Silicon
    ├─ M4 Pro 48GB  → Mistral Small 4 / Qwen3.5 32B Q4
    ├─ M3/M4 Max 96GB → Qwen3-Coder-Next 80B MoE Q4 / Llama 4 70B Q4
    └─ M2/M3 Ultra 192GB → Qwen3.5 397B MoE Q4（旗舰体验）

⚠️ GLM-5 / GLM-5.1 / Kimi K2.5 / MiniMax M2.5：
   综合排行前列，但本地部署需 860GB+ 显存，建议直接调 API。

参考资源

• Ollama 模型库（4500+）
• GLM-4.7-Flash Ollama 页面
• GLM-4.7-Flash 本地部署指南 – DEV Community
• GLM-4.7-Flash GGUF 指南 – Unsloth Docs
• Qwen3-Coder-Next Ollama 页面
• Best Open Source LLMs 2026 – BenchLM.ai
• Open Source LLM Leaderboard 2026 – Onyx AI
• Gemma 4 本地部署指南 – Lushbinary
• RTX 5090 规格 – NVIDIA 官方
• Open-Source LLMs Compared 2026 – Till Freitag
• GGUF 量化说明 – llama.cpp