Tag: 显存优化
All the articles with the tag "显存优化".
-
反常识:为什么有些 7B 模型比 9B 模型更吃显存?(全面分析)
# 反常识:为什么有些 7B 模型比 9B 模型更吃显存?(全面分析) ## 引言 '模型越大越吃显存'——这听起来像常识,但在实际部署中,我们确实遇到了反直觉的情况:**一个 7B 模型在同等量化下,占用的显存比另一个 9B 模型还多...
All the articles with the tag "显存优化".
# 反常识:为什么有些 7B 模型比 9B 模型更吃显存?(全面分析) ## 引言 '模型越大越吃显存'——这听起来像常识,但在实际部署中,我们确实遇到了反直觉的情况:**一个 7B 模型在同等量化下,占用的显存比另一个 9B 模型还多...