选推理框架是个坑。选错了，GPU利用率低，token/s惨不忍睹，延迟高到用户骂人。

2026年，本地大模型推理框架的竞争格局基本清晰：五个主要玩家，各有所长。

先说结论

场景	推荐
个人开发者，单卡消费级GPU	Ollama
生产级部署，高并发服务器	vLLM
复杂多模型编排	SGLang
Apple Silicon	MLX
低配机器，CPU推理	llama.cpp

vLLM：生产级推理的标配

核心武器：PagedAttention + Continuous Batching

PagedAttention解决了KV Cache的内存碎片化问题。传统方法里，显存分配是预申请的，实际使用时大量显存浪费。PagedAttention把KV Cache切成固定大小的块，按需分配，利用率直接拉满。

Continuous Batching则是并发请求的杀手锏。多个请求共享一个批处理窗口，GPU利用率直接起飞。

实测：DeepSeek-V3在A100上的吞吐量，vLLM比Ollama高3-5倍。

缺点：部署相对复杂，需要自己管理模型下载和API封装。

Ollama：个人开发者的最佳体验

核心武器：开箱即用

ollama run qwen3:14b，一条命令跑起来。没有配置文件，没有启动脚本，没有API网关。Windows、macOS、Linux全平台支持，NVIDIA、AMD、Apple Silicon通吃。

ollama run qwen3:14b

背后其实是llama.cpp的GGUF格式 + 系统级优化，但封装得足够干净。

缺点：并发性能不如vLLM，适合单用户或低并发场景。

SGLang：复杂Agent工作流的首选

核心武器：RadixAttention + 结构化输出优化

SGLang的核心创新是RadixAttention，把多轮对话的KV Cache做成了Radix Tree复用。多轮对话场景下，显存复用率显著提升。

对于需要复杂多模型编排的Agent系统，SGLang的欠桩控制和流式输出更灵活。

缺点：生态相对年轻，高并发场景下不如vLLM稳定。

llama.cpp：CPU推理的最后防线

核心武器：纯CPU推理，量化支持拉满

Q4_0、Q5_K_M、Q8_0，llama.cpp的量化格式是最全的。一块GTX 1070，14B模型跑起来没毛病。

对于没有GPU的环境，或者需要在边缘设备上跑模型的场景，llama.cpp是唯一选择。

缺点：速度慢，比vLLM慢10倍以上。

MLX：Apple Silicon的专属优化

核心武器：Metal GPU加速

MLX是Apple的机器学习阵列框架，直接跑在M3 Max的GPU上。内存统一架构，GPU和CPU共享内存，没有显存墙。

实测：M3 Max跑70B参数的Llama3，token/s比同等显存的NVIDIA卡更高。

缺点：只能在Apple Silicon上跑，生态封闭。

怎么选

个人开发，本地调试：Ollama，一行命令启动，随时切换模型。

高并发API服务：vLLM，PagedAttention+Continuous Batching的组合在服务器端没有对手。

复杂多轮Agent：SGLang，RadixAttention对多轮场景优化明显。

低配机器或CPU推理：llama.cpp，量化支持最全。

Apple Silicon用户：MLX，别犹豫。

2026年的推理框架战争，本质上是显存利用率和并发吞吐量的战争。选对框架，一张4090能跑出A100的效果。

---

← Back to blog