Qwen3 本地部署完整教程：从下载到跑通全流程
发表于|更新于|lab
|浏览量:
Qwen3 本地部署完整教程
Qwen（通义千问）是国产开源模型里生态最完整、中文能力最强的一个系列。本教程带你把 Qwen3 从「下载」到「本地跑通」，覆盖 Ollama、llama.cpp、LM Studio 三条主流路线，并附常见问题排查。
一、准备工作：确认你的硬件
| 模型规模 | 量化 | 显存需求 | 推荐显卡 |
|---|---|---|---|
| Qwen3 0.6B | Q4 | 约 1GB | 任意 4GB 显卡 / 纯 CPU |
| Qwen3 4B | Q4 | 约 3GB | RTX 3060 12G 起步 |
| Qwen3 8B | Q4 | 约 6GB | RTX 3060 12G |
| Qwen3 14B | Q4 | 约 10GB | RTX 4080 / 4090 |
| Qwen3 30B-A3B（MoE） | Q4 | 约 18GB | RTX 4090 24G |
| Qwen3 32B | Q4 | 约 20GB | RTX 4090 / 双卡 |
| Qwen3 72B | Q4 | 约 45GB | 双卡 / 服务器 |
二、路线一：Ollama 一键运行（推荐新手）
Ollama 是本地运行 Qwen 最省事的方式，一条命令即可：
1 | # 安装 Ollama（macOS）brew install ollama# 或 Linux：curl -fsSL https://ollama.com/install.sh | sh# 运行 Qwen3 8B（首次会自动下载）ollama run qwen3:8b |
想跑其他尺寸，直接换标签名：
1 | ollama run qwen3:0.6b # 轻量，纯 CPU 也能玩ollama run qwen3:4bollama run qwen3:14bollama run qwen3:32b |
Ollama 会自动选择合适的量化与显存策略。运行中想退出按 Ctrl+D，查看已装模型用 ollama list。
三、路线二：llama.cpp + GGUF（跨平台最稳）
如果你用 Windows / Linux 且想精细控制量化，llama.cpp 更合适：
1 | # 克隆并编译git clone https://github.com/ggml-org/llama.cppcd llama.cppcmake -B build && cmake --build build --config Release# 下载 Qwen3 8B 的 GGUF 权重（HuggingFace 上有大量社区量化）# 例如：Qwen/Qwen3-8B-GGUF 的 q4_k_m.gguf# 运行（指定 gpu 层数，越高越吃显存）./build/bin/llama-cli -m qwen3-8b-q4_k_m.gguf -ngl 99 |
-ngl 99 表示把 99 层都放到 GPU；显存不足时调小（如 -ngl 40）把部分层放 CPU，速度会下降但能跑起来。
四、路线三：LM Studio（图形化，适合 macOS）
LM Studio 提供图形界面：搜索 Qwen3 → 选择一个 GGUF 版本 → 下载 → 加载。适合不熟悉命令行的朋友，右侧还能调整上下文长度与 GPU offload 比例。
五、HTTP API 接入应用
无论哪条路线，都能拿到 OpenAI 兼容接口。以 Ollama 为例：
1 | curl http://localhost:11434/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen3:8b","messages":[{"role":"user","content":"用中文介绍你有哪些能力"}]}' |
Python 侧改一行 base_url 即可接入现有代码：
1 | from openai import OpenAIclient = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")resp = client.chat.completions.create(model="qwen3:8b", messages=[{"role": "user", "content": "你好"}])print(resp.choices[0].message.content) |
六、Qwen3 的混合推理模式
Qwen3 支持「思考 / 非思考」切换，复杂数学题先思考再答，日常闲聊直接作答：
1 | # Ollama 中进入开启思考模式ollama run qwen3:8b>>> /set no_think # 关闭思考（更快）>>> /set think # 开启思考（更严谨） |
七、常见问题排查
**Q：显存不够 / 卡顿怎么办？**换更小的量化（Q4→Q3）或更小的模型（8B→4B），调低 -ngl，或关闭思考模式。
**Q：Ollama 下载太慢？**国内可配置镜像源或使用 OLLAMA_MODELS 缓存目录，也可以先用脚本预下载 GGUF。
**Q：中文效果如何？**Qwen3 是中文最强开源模型之一，直接用中文提问即可，无需英文 prompt。
小结
Qwen3 全家桶从 0.6B 到 72B，总有一个尺寸适配你的显卡。新手选 Ollama、进阶用 llama.cpp、图形化选 LM Studio，三步即可把通义千问「搬回」本机，数据不出设备、离线可用。
延伸阅读：
文章作者: 智算工坊
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 智算工坊！
相关推荐
2026-08-08
Ollama 本地部署大模型指南：一条命令跑通 Llama / Qwen
Ollama 本地部署大模型指南Ollama 是目前最流行的本地大模型运行工具：支持 macOS / Linux / Windows，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等开源模型，无需写代码。 一、安装 OllamamacOS1brew install ollama# 或官网下载 .dmg 安装包 Linux1curl -fsSL https://ollama.com/install.sh | sh Windows官网下载安装包，或使用 WSL2：wsl --install 后在 WSL 中执行 Linux 命令。 二、下载并运行模型常用模型1ollama run llama3.1:8b # Llama 3.1 8Bollama run qwen2.5:7b # 通义千问 2.5ollama run deepseek-r1:7b # DeepSeek R1 推理模型ollama run qwen2.5-coder:7b # 代码模型 首次运行会自动下载（8B 模型约 4.7GB），之后可直接对话： 1>>>...
2026-08-10
RTX 3090 运行 Qwen 模型测试：7B / 14B / 32B 实测
RTX 3090 运行 Qwen 模型测试RTX 3090 拥有 24GB 显存与 936 GB/s 带宽，是「本地跑大模型」的性价比甜点卡。本文实测它在 Qwen 系列 7B / 14B / 32B（MoE）上的推理速度、显存占用与使用体验，给同样用 3090 的朋友一个参考。 测试环境 项目 配置 显卡 NVIDIA RTX 3090 24GB 驱动 560.94 工具 Ollama 0.5.3 / llama.cpp b4000 模型 Qwen3 8B、Qwen3 14B、Qwen3 30B-A3B（MoE） 量化 Q4_K_M / Q5_K_M 一、显存占用实测 模型 量化 显存占用 能否全量 offload Qwen3 8B Q4_K_M 约 6.2GB ✅ 轻松 Qwen3 14B Q4_K_M 约 9.8GB ✅ 轻松 Qwen3 14B Q5_K_M 约 11.5GB ✅ 可以 Qwen3 30B-A3B（MoE） Q4_K_M 约 18.5GB ✅ 可以 Qwen3 32B ...
2026-08-14
Ollama 量化与显存规划指南：用公式算出你的显卡能跑多大的模型
Ollama 量化与显存规划指南Ollama 拉模型很方便，但「该拉多大、选什么量化」没人替你算：这篇文章把显存换算公式、量化档位怎么选、装不下怎么办一次讲清楚，让你买显卡前就能算出能不能跑。 一、先搞懂模型大小：参数不是体积很多人把「7B 模型」理解成 7GB，这是最大的误区。B 是 Billion（十亿），7B 表示模型有 70 亿个参数。参数只是神经元数量，真正占空间的，是这些参数「用什么精度存」。 模型权重的原始精度是 FP16（半精度），每个参数占 2 字节。所以一个 7B 模型的原始体积是： 17B × 2 字节 ≈ 14GB 这还只是权重，跑起来还要算上 KV Cache（键值缓存）和运行时开销。所以「7B 模型要 14GB 显存」的说法，指的是 FP16 原版。绝大多数人用的是量化版，体积小得多，这也是 Ollama 默认帮你做的事。 为什么 Ollama 会默认用量化？因为对普通用户来说，「体积小、能装进显存、速度够快」比「理论上更准的那几个百分点」重要得多。官方库里的标签如 qwen3:8b，拉下来基本都是 Q4_K_M，体积 4.9GB 左右，8GB 显...
2026-08-14
Apple Silicon 跑本地大模型：M1 到 M4 的完整指南
Apple Silicon 跑本地大模型：M1 到 M4 的完整指南Mac 没有 NVIDIA 显卡，但 Apple Silicon 的统一内存架构让它跑大模型有独特优势：模型直接用内存跑，不用抠显存，还能低功耗待机。这篇文章覆盖 M1 到 M4 全系，讲清怎么选 Mac、用什么工具、各档机型能跑多大模型。 一、Apple Silicon 跑大模型的底层逻辑为什么 Mac 能跑大模型？关键在于统一内存（Unified Memory）。传统 PC 有独立的显存和内存，两者之间传数据是性能瓶颈；Apple Silicon 的 CPU、GPU 共享同一块内存，模型可以直接放在内存里跑，GPU 直接读——省去了数据搬运。 这带来两个直接结果： 显存=内存：你买 64GB 的 MacBook Pro，跑模型就能用到 64GB「显存」，这比任何消费级显卡都大； 门槛低：8GB 内存的入门 Mac 也能跑 7B 模型，而 NVIDIA 8GB 显卡已经被 14B 卡脖子。 代价也明显：内存带宽远低于显卡。NVIDIA 4090 带宽约 1TB/s，M3 Max 只...
2026-08-14
llama.cpp 分层 Offload：低显存显卡也能跑大模型
llama.cpp 分层 Offload：低显存显卡也能跑大模型llama.cpp 是 GGUF 推理的元老，它的分层 Offload 能把模型按层拆开，一部分放显存、一部分放内存，让 8GB 甚至 6GB 的显卡也能带动 14B 模型。这篇文章从原理讲到实操参数，附实测数据。 一、为什么要分层 Offload先回顾一下显存换算公式：14B 模型用 Q4_K_M 大约要 10GB 显存。如果你的显卡只有 8GB，直接整模型扔进显存装不下，程序直接报 OOM。 传统思路是「全 CPU 跑」：不占显存，但纯 CPU 推理慢得让人怀疑人生——7B 模型在主流 CPU 上大概只有 3~6 token/s，做个翻译都要等半天。 llama.cpp 给了第三条路：分层（Layer Offload）。大模型的 Transformer 结构是一层层堆叠的，每一层都是「Attention + FFN」。既然装不下全部，就装一部分：把前 N 层放 GPU，剩下的层放 CPU，推理时每层算完把结果传给下一层，GPU 和 CPU 协同工作。 这样做的核心收益：显存不够时，用一部分 CPU 计...
2026-08-14
Wan 2.2 本地视频生成全流程：ComfyUI 从安装到出片
Wan 2.2 本地视频生成全流程：ComfyUI 从安装到出片开源视频生成在 2026 年的答案基本是 Wan 2.2：画质高、中文支持好、ComfyUI 一条龙。这篇文章完整走一遍「模型下载 → ComfyUI 配置 → 文生视频 → 视频延长」，并给出不同显存下的实际参数和显存峰值规划。 一、Wan 2.2 是什么，需要什么配置Wan 2.2（阿里通义实验室）是开源视频生成模型，支持文生视频、图生视频、视频延长。相比同期的 LTX-Video、CogVideo，它的画面稳定性更好、中文 prompt 支持优秀，是目前中文用户本地跑视频的首选。 从模型家族说起：Wan 系列最早是通义万相的多模态模型，2025 年开源了支持视频的 2.1，随后 2.2 在画质、运动控制和中文理解上做了明显升级。它最大的特点是「一支模型既能文生视频、又能图生视频」，切换场景只需换输入，不需要换模型。对本地玩家来说，这意味着下一种模型就能覆盖多种玩法，学习成本和磁盘占用都很友好。 和云端视频生成（Sora、Kling、可灵）相比，本地 Wan 的定位很清楚：想要可控、可批量、不上传素材的创作者。...