Tag: context_length
All the articles with the tag "context_length".
-
另一种断流:Hermes 没设 context_length,对话撑到 57K 直接挂
同样是不回复、断流,但根因和 OOM 完全不同——Hermes 配置缺少 context_length,vLLM 的 max_model_len=65536 成了隐形天花板。对话一撑到 57K,下一轮请求超上限直接 HTTP 400。
All the articles with the tag "context_length".
同样是不回复、断流,但根因和 OOM 完全不同——Hermes 配置缺少 context_length,vLLM 的 max_model_len=65536 成了隐形天花板。对话一撑到 57K,下一轮请求超上限直接 HTTP 400。