跳到正文
热点事件持续更新

IBM 对比三种 agent harness 的 AppWorld 完成率

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

IBM 研究团队用同一开源权重模型 GLM-5.3-flash,在 AppWorld 的 90 项任务、30 个场景上对比 CUGA、Hermes 与 Deep Agents 三种 agent harness,每项任务只尝试一次。结果显示,三者的任务通过率分别为 81.1%、46.7% 和 30.0%,场景全通过率分别为 66.7%、26.7% 和 6.7%。 IBM 称,在模型和任务相同的情况下,仅更换 harness 就能让任务完成率从 30% 升至 81%。不过,IBM 也说明,三种 harness 的配置并不完全相同;该结果仅来自单一基准的 90 项任务样本,未必能推广到其他任务;测试未使用策略,因此不衡量策略执行情况。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. Hugging Face Blog
    IBM 对比 CUGA、Hermes 与 Deep Agents:同一模型任务完成率 30% 至 81%

    IBM 研究团队用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 项任务上对比 CUGA、Hermes 与 Deep Agents 三种 harness,任务通过率分别为 81.1%、46.7% 和 30.0%,场景全通过率为 66.7%、26.7% 和 6.7%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。