Tag: GPU
All the articles with the tag "GPU".
-
vLLM Triton 编译提示「找不到 C 编译器」?别慌
RuntimeError: Failed to find C compiler,但 gcc 明明装了。原因是 systemd 环境里没有 CC 环境变量。
-
我们在 Qwen3.5-9B 部署中踩过的所有坑(及参数调优全记录)
从输出乱码到思考泄露到 KV Cache OOM,这是在一台 RTX 3080 上部署 Qwen3.5-9B 的全过程记录。
-
生产环境 vs 测试环境:模型参数配置的那些坑
一台 RTX 3080、20GB 显存、9B 模型,能撑起生产服务吗?能。但照搬测试参数,等着你的就是乱码、OOM 和思考泄露。
-
vLLM 显存参数调优全解析:从 OOM 到稳定输出
在 RTX 3080 20GB 上跑 Qwen3.5-9B,从频繁 OOM 到稳定运行,逐个参数调优的实测记录和数据。