vLLM vs Ollama vs llama.cpp：你应该选择哪个推理引擎？
面对市面上众多的 LLM 推理框架，vLLM、Ollama 和 llama.cpp 各有千秋。本文从吞吐量、部署难度、硬件适配等维度为您提供详尽的选型分析。
在本地部署大模型时，选择一个合适的推理引擎（Inference Engine）与选择模型本身一样重要。不同的引擎在内存管理、并行计算和硬件适配上的策略截然不同，直接影响到你的 Token 生成速度和系统稳定性。
目前社区最主流的三个选择是：vLLM、Ollama 和 llama.cpp。
📊 核心能力对比矩阵
| 维度 | Ollama | llama.cpp | vLLM |
|---|---|---|---|
| 核心定位 | 极致便捷的本地运行工具 | 极致兼容的底层推理库 | 生产级高吞吐推理服务 |
| 部署难度 | 极低 (一键安装) | 中 (需编译/配置) | 中/高 (依赖 Docker/Python) |
| 推理速度 | 快 (基于 llama.cpp) | 快 (极致优化) | 极快 (PagedAttention) |
| 硬件支持 | GPU / CPU / Mac | 全平台 (CPU/GPU/Mac) | 主要是 NVIDIA GPU |
| 内存管理 | 自动化管理 | 手动精细控制 | 动态显存池管理 |
| 并发能力 | 低 (适合个人使用) | 中 (适合单用户/轻量) | 极高 (适合多用户 API) |
🔍 深度剖析：该如何选择？
1. Ollama：本地 AI 的“快捷方式”
Ollama 实际上是对 llama.cpp 的一个高度封装。它将模型权重、配置、运行环境全部打包，让用户通过类似 Docker 的命令即可运行模型。
- 优势：无需配置环境，自带模型库，支持 API 调用，完美适配 macOS 和 Windows。
- 适用场景：快速尝试新模型、个人助理、轻量级本地应用。
2. llama.cpp：兼容性的“天花板”
作为很多推理工具的基石，llama.cpp 追求的是在任何设备上都能跑起来。它通过 C++ 编写，极大地降低了对 Python 环境的依赖。
- 优势：支持 CPU 纯推理、GPU 混合推理，对 Apple Silicon 支持最好，量化格式（GGUF）最成熟。
- 适用场景：硬件资源极其有限、在 Mac 上运行大模型、需要深度定制推理参数。
3. vLLM：生产环境的“性能怪兽”
vLLM 引入了革命性的 PagedAttention 技术，解决了 LLM 推理中 KV Cache 碎片化导致的显存浪费问题。
- 优势：吞吐量极高，支持连续批处理 (Continuous Batching)，是目前部署高性能 API 服务的首选。
- 适用场景：构建商业级 AI 应用、高并发请求场景、需要极低延迟的大规模部署。
🛠️ 场景决策矩阵
如果你还不确定，可以参考以下决策路径：
- “我只想在 5 分钟内跑通模型，不想折腾环境” $\rightarrow$ 选择 Ollama
- “我只有 CPU 或者是一台 Mac，且想尽可能压榨性能” $\rightarrow$ 选择 llama.cpp
- “我要搭建一个 API 接口，给几十个人同时使用，且有 NVIDIA 显卡” $\rightarrow$ 选择 vLLM
- “我想在 Linux 服务器上部署一个兼顾速度和稳定性的生产环境” $\rightarrow$ 选择 vLLM
💡 总结
- Ollama $\approx$ 易用性 $\times$ 快捷部署
- llama.cpp $\approx$ 兼容性 $\times$ 硬件适配
- vLLM $\approx$ 吞吐量 $\times$ 生产环境
选择引擎时，请务必根据你的 硬件资源 和 并发需求 来决定。不要为了追求极致速度而选择了对硬件要求极高的 vLLM，也不要为了便捷而放弃了 vLLM 在生产环境中的巨大性能优势。