Tag: 大模型推理
All the articles with the tag "大模型推理".
-
vLLM vs llama.cpp：两大推理框架的深度对比
# vLLM vs llama.cpp：两大推理框架的深度对比 ## 引言 当前大模型推理领域，**vLLM** 和 **llama.cpp** 是最具代表性的两个开源推理框架。它们目标不同、设计哲学不同、适用场景也不同。本文将从架构、...
All the articles with the tag "大模型推理".
# vLLM vs llama.cpp：两大推理框架的深度对比 ## 引言 当前大模型推理领域，**vLLM** 和 **llama.cpp** 是最具代表性的两个开源推理框架。它们目标不同、设计哲学不同、适用场景也不同。本文将从架构、...