Tag: AI
All the articles with the tag "AI".
-
vLLM vs llama.cpp：两大推理框架的深度对比
# vLLM vs llama.cpp：两大推理框架的深度对比 ## 引言 当前大模型推理领域，**vLLM** 和 **llama.cpp** 是最具代表性的两个开源推理框架。它们目标不同、设计哲学不同、适用场景也不同。本文将从架构、...
-
多 Agent 系统配置同步的艺术
# 多 Agent 系统配置同步的艺术：记一次模型与 Agent 协同调优 ## 背景 在多 Agent 系统中，有两个层面的配置需要同步： 1. **模型端**（llama-server）：决定实际推理能力 2. **Agent 端*...
-
反直觉真相：35B A3B 模型为什么比 12B Dense 模型跑得还快？
# 反直觉真相：35B A3B 模型为什么比 12B Dense 模型跑得还快？ ## 引言 这听起来像是在说谎：**参数多了近 3 倍，推理速度反而更快？** 在 llama.cpp 上实测数据： | 模型 | 参数量 | 推理速...
-
大模型上下文窗口超限：从 32K 到 48K 的改造实录
# 大模型上下文窗口超限：从 32K 到 48K 的改造实录 ## 问题 模型运行一段时间后突然报错： ``` Error: Model context length exceeded. Reason: request (35550...