Tag: AI
All the articles with the tag "AI".
-
小模型原地打转：模型为什么会陷入反复循环以及如何解决
# 小模型原地打转：为什么模型会陷入'反复循环'以及如何解决 ## 引言 使用小模型（7B/9B/13B）的时候，你有没有遇到过这种情况： ``` 用户：请写一个 Python 函数计算斐波那契数列 模型：我来写一个 Python 函...
-
按卡索骥：如何根据自己的显卡找到合适的模型
# 按卡索骥：如何根据自己的显卡找到合适的模型 ## 引言 '我的电脑能跑什么模型？'——这是大模型入门者最常问的问题。 网上动辄说'7B 模型需要 14GB 显存''13B 需要 24GB'，但实际我们在一张 **RTX 3080（...
-
量化、质量与速度：普通用户如何找到最佳平衡点
# 量化、质量与速度：普通用户如何找到最佳平衡点 ## 引言 '量化'是大模型圈子里出现频率最高的词之一。但你可能会困惑： - Q4_K 和 Q3_K 到底差多少？ - 量化低一点真的能省那么多显存吗？ - 省下来的显存用来扩大上下文...
-
Hermes Tool Search 懒加载：当模型记不住几千个工具时
部署了一个带 2000+ 工具定义的 Agent 后，prompt 比对话内容还长。Tool Search 懒加载解决了这个问题。