Tag: MoE
All the articles with the tag "MoE".
-
反直觉真相：35B A3B 模型为什么比 12B Dense 模型跑得还快？
# 反直觉真相：35B A3B 模型为什么比 12B Dense 模型跑得还快？ ## 引言 这听起来像是在说谎：**参数多了近 3 倍，推理速度反而更快？** 在 llama.cpp 上实测数据： | 模型 | 参数量 | 推理速...
All the articles with the tag "MoE".
# 反直觉真相：35B A3B 模型为什么比 12B Dense 模型跑得还快？ ## 引言 这听起来像是在说谎：**参数多了近 3 倍，推理速度反而更快？** 在 llama.cpp 上实测数据： | 模型 | 参数量 | 推理速...