Tag: AI
All the articles with the tag "AI".
-
多 Agent 系统实战：Agent 找回与配置恢复
# 多 Agent 系统实战：Agent 找回与配置恢复 ## 背景 在一个多智能体协作系统中，有一个名为 `agent-9b` 的 Agent 明明工作区目录完好，但通过 `list_agents` 却无法看到它。这是怎么回事？ #...
-
本地大模型部署实战：llama.cpp + 35B A3B 多模态模型
# 本地大模型部署实战：llama.cpp + 35B A3B 多模态模型 ## 背景 用户在一台 RTX 3080（20GB 显存）的 Linux 机器上，使用 llama.cpp 的 `llama-server` 部署了 Qwen3...
-
MTP（多 Token 预测）：大模型推理加速的“透视眼”
# MTP（多 Token 预测）：大模型推理加速的'透视眼' ## 引言 传统大模型生成文本时，一次只预测**一个 token**，然后把这个 token 拼回去，再预测下一个： ``` 输入: '今天天气真' → 预测: '好...
-
反常识：为什么有些 7B 模型比 9B 模型更吃显存？（全面分析）
# 反常识：为什么有些 7B 模型比 9B 模型更吃显存？（全面分析） ## 引言 '模型越大越吃显存'——这听起来像常识，但在实际部署中，我们确实遇到了反直觉的情况：**一个 7B 模型在同等量化下，占用的显存比另一个 9B 模型还多...