- Published on
从 UniClawBench 看 2026 年的智能体基准测试 — 存活容器与隐藏的监督者
- Authors
- Name
- Youngju Kim
- @fjvbn20031
引言 — 在静态基准落幕之处
在此前的 在编程评估中分辨信号与噪声的文章 一文中,我曾谈到:最为广泛使用的编程基准,正因污染与评分缺陷而动摇。比对预先记录好答案的静态方式,很容易被死记硬背和 harness 差异所左右。那么,问题也就被反转了过来——为那些亲自操作工具的 智能体 而设计的基准,究竟应该长成什么样子呢?
香港大学(HKU)MMLab 于 2026 年 7 月 9 日投稿到 arXiv 的 UniClawBench 便是对这个问题给出的一个具体回答。它的副标题是"面向真实世界任务的主动式智能体通用基准"。这里所说的主动式智能体,指的是那种直接操作日常工具、在真实环境中帮助用户的智能体。
作者所指出的现有基准的局限有三点。第一,它们大多以 沙箱环境 为依托。第二,由于采用的是 单轮 评估方式,无法呈现对话式辅助工作的真实流程。第三,基于场景的任务分类 把多种能力混杂进同一个类别 之中,使得智能体失败时很难判断其原因究竟为何。UniClawBench 把自己称作"首个在动态真实环境中评估主动式智能体的能力驱动基准"。
新在何处 — 存活容器与步骤级检查点
最引人注目的设计,是它的评分方式。UniClawBench 不去把智能体的输出与预先静态记录好的标准答案做字符串比对,而是让智能体在 存活的 Docker 容器 中运行,并以 细粒度的步骤级完成检查点 来评分。
这个差别为什么重要,只要设想一个真实任务就清楚了。像"预订一家餐厅,并把这个日程放进日历"这样的请求,是有中间状态的。只比对最终答案的方式,只会盯着那一个字符串。而检查点则会在环境之中逐步确认:"预订是否真的成功了","日历里是否生成了对应的条目"。这更接近于评价一位人类助理的方式——它看的不只是最终产物,还看过程是否真的发生过。
当然,这并非没有代价。相比静态的 JSON 答案文件,存活的容器运行成本更高,要保持其确定性(deterministic)也更为棘手。但这份代价,是为了看清智能体是否真的 把某件事做成了 而付出的;而静态基准恰恰就在这一点上失守。
闭环 — 执行者、隐藏的监督者与用户智能体
第二个核心设计,是把评估回路本身用三个智能体编织成一个 闭环(closed-loop) 结构。
- 执行者(executor)智能体 — 真正去执行任务的一方,也是我们要打分的对象。
- 隐藏的监督者(supervisor)智能体 — 用步骤级检查点为进展打分,但 不会公开其评分标准。
- 用户(user)智能体 — 代替人类用户,给出多轮反馈。
User-Agent -> 跨多轮传递请求、追问与反馈
Executor -> 在容器内操作工具、执行任务
Supervisor -> 用步骤级检查点评分(评分标准始终隐藏)
"隐藏"二字是关键。一旦评分标准泄露进对话,执行者就可能被优化成:不去 真正完成任务 而是专说些能迎合评分标准的话。把监督者的评分细则藏起来,这条捷径就被堵死了——这正是一个直面前一篇文章所谈的污染与钻空子(gaming)问题的设计。多轮的构成也出于同样的逻辑:真实的辅助工作并非一次性的提示,而是一场对话,由用户智能体来供给其中的后续请求与澄清。
分离模型与脚手架 — 五种能力
UniClawBench 将 400 个双语任务按五种 基础模型能力 来划分——技能使用(skill usage)、探索(exploration)、长上下文推理(long-context reasoning)、多模态理解(multimodal understanding)、跨平台协同(cross-platform coordination)。由于每个任务瞄准的能力都是确定的,失败便不再是一团迷雾,而是会指向具体原因——你可以区分究竟是"在探索上崩了"还是"把长上下文弄丢了"。(顺带一提,究竟是哪两种语言,摘要中并未写明。)
从开发者的视角看,最令人欣慰的是最后这一点。作者们为了 将基座模型的能力与框架层面的设计选择分离开来 而把多个最新模型放到多种智能体框架之上评估。这是针对前文已确认的一个事实——仅仅更换脚手架(harness)就能让分数波动好几个百分点——所采取的正面强攻。若不把脚手架固定住,或有意地去替换、试验,就无法判断:究竟是模型 A 胜过了模型 B,还是仅仅 A 的 harness 更好而已。
有一点必须讲清楚。摘要给出的结论是,模型与框架"共同塑造了性能",但 它并没有把具体的排名或分数写进摘要。 正文里无论有怎样的表格,那都是作者自报的数值,尚未经过独立的复现与审计。文中说明基准与代码都会公开,因此验证这件事,就留给社区去完成了。
结语
仅凭 UniClawBench 这一篇,2026 年智能体基准设计的走向就已相当清晰——与其用静态,不如用 存活的环境 来评估;与其只看最终答案,不如用 步骤级检查点 来衡量;与其让评分细则外泄,不如设一位 隐藏的监督者 来把关;再加上 模型与脚手架的分离 这一条。这四点,正在逐渐成为基本功。
当然,需要保留态度的地方也不少。这是一篇才出来没几天的论文,数字是作者自报值,连那两种语言到底是什么,摘要里也没有交代。存活容器的方式既昂贵又难以复现,而且任何基准最终都会饱和、都会被钻空子——这正是前文留下的教训。但即便如此,至少在设计的方向上,它是对的。
所以,真正有用的问题并不是"谁在 UniClawBench 上排第一"。而是:"当环境是存活的、轮次有很多、评分者又不告诉你评判标准时,我的智能体能不能扛得住"。真正的信号,不是排行榜上的某一个数字,而是这些条件本身。