引言 — 作为成本杠杆的推理努力
用会思考的 LLM(thinking LLM)构建的智能体,靠长思维链(chain-of-thought)获得高精度,但代价是推理成本大幅增加。如今许多模型已经把推理级别开放为可设置的,比如 high、medium、low,而真正的问题在于:该如何拉动这根杠杆。
Ares 论文(2026 年 3 月的预印本)的观察很简单,却很有说服力:固定策略行不通。把所有步骤都以 low 运行,性能会明显下滑;而把级别随机混搭,则既守不住精度,也无法有意义地降低成本。更准确的图景是这样的——穿行于复杂网站结构的步骤需要很高的努力,但像打开目标 URL 这种简单步骤,用很低的努力就够了。也就是说,努力应当 以步骤为单位来分配,而不是以任务为单位。
为每一步挑选努力的路由器
Ares(Adaptive Reasoning Effort Selection)的核心,是一个 轻量级路由器。在每一步,它查看至此为止的交互历史,预测该步骤所需的 最低且合适的推理级别。要点在于用很低的代价提前判断“这一步难不难”,只有在难的时候才打开昂贵的思考。
路由器要怎么训练?论文用一条数据生成流水线,找出每一步成功所需的 最小推理努力,再用这些标签对路由器做微调。产出是一种不绑定特定模型的即插即用方案,被设计成插在既有 LLM 前端的形式。
从概念上勾勒,它的运作是这样的:
在每次调用 LLM 之前:
1. 把至此为止的交互历史交给路由器
2. 路由器预测这一步的最小推理级别 (high / medium / low)
3. 用预测出的级别调用主体模型
4. 把工具结果加入历史,进入下一步
关键在于,路由器比主体模型便宜得多,而且判断是以步骤为单位的。即便在同一个任务内部,努力也会随步骤起伏。
数字,以及如何解读这些数字
先从论文报告的数字说起。在三个基准上——面向工具使用智能体的 TAU-Bench、面向深度研究智能体的 BrowseComp-Plus、面向网页智能体的 WebArena——相比始终以 high 运行的固定策略,据称推理 token 最多削减了 52.7%。与此同时,论文报告任务成功率的下降甚微。
怎么读。有两点需要说清楚。第一,这是 作者报告的预印本数值,并未经过独立验证。 第二,“最多(up to)”是一个上限——它可能因基准而异,与其当作所有情形的平均,不如当作表现最好那一档条件下的数值来读,才更稳妥。但方向仍然是明确的:大多数智能体步骤,并不需要最大程度的思考。
诚实的权衡 — 路由器开销与思考不足
天下没有免费的午餐。这里诚实地写下这一方法的代价。
- 路由器本身就是成本。 路由器每一步都要运行,必须足够轻,轻到不会把省下来的部分吃掉。如果路由器调用比省下的思考 token 还贵,那就没有意义。
- 思考不足(under-thinking)的风险。 如果路由器把困难的步骤误判为简单、选了过低的级别,这一步就会失败。而在智能体中,一步的失败往往会毁掉整条轨迹或引发重试——付出的代价可能比省下的思考更高。所以在实务中,把路由器稍微向“多想一点”的一侧偏置的校正,通常更安全。
- 分布偏移(distribution shift)。 路由器是在特定的智能体、任务分布上训练的。原封不动地搬到另一领域的智能体上,判断就可能失准。每次搬迁都重新测量才是对的。
- 亲手测量精度与成本的曲线。 没有任何保证“最多 52.7%”能在你的工作负载上复现。你必须在自己的任务上同时测量成功率和 token,亲自确认这份节省是否值得那点精度损失。
结语 — 今天就能用的想法
Ares 之所以吸引人,不在于某个具体的路由器实现,而在于它的 原理:不要把推理努力均匀地施加到整个任务上,而应以步骤为单位、只按需分配。这个想法即便没有训练好的路由器权重,今天也能近似实现——比如根据步骤的类型(简单查询还是复杂规划)用启发式规则来定级别,或者只在失败时才提高努力的回退策略。
当然,这还只是一篇预印本,数值也是作者自报的。但“让每一步都以最大程度思考是一种浪费”这个命题,无论从直觉上还是从账单上看,都说得通。如果你在运营智能体,那就有充分的理由开始把推理努力当作一根可调的杠杆来看待。
参考资料
현재 단락 (1/22)
用会思考的 LLM(thinking LLM)构建的智能体,靠长思维链(chain-of-thought)获得高精度,但代价是推理成本大幅增加。如今许多模型已经把推理级别开放为可设置的,比如 `hig...