具备多模态浏览能力的编码代理是通用问题求解器
计算与语言
2025-06-04 v1
摘要
现代人类劳动的特征是专业化；我们经过多年训练并开发特定工具，使我们能够在各种任务中表现出色。此外，AI 代理也已被专门用于软件工程、网页导航和工作流自动化等领域。然而，这导致代理往往只擅长某一领域，而无法泛化到其预期范围之外。造成这一现象的原因之一是，代理开发者提供了高度专业化的工具集，或做出了针对特定用例或基准测试优化的架构决策。在本工作中，我们提出一个问题：能够用于在多样化任务中实现高性能的最小通用工具集是什么？我们的答案是 OpenHands-Versa，一个基于少量通用工具构建的通用代理：代码编辑与执行、网页搜索，以及多模态网页浏览和文件访问。重要的是，OpenHands-Versa 在三个多样且具挑战性的基准测试（SWE-Bench Multimodal、GAIA 和 The Agent Company）中，表现出优于或可与领先专用代理相媲美的性能，其成功率分别比此前已发表的最佳结果绝对提升了 9.1、1.3 和 9.1 个百分点。此外，我们展示了现有的 SOTA 多代理系统如何无法泛化到其目标领域之外。这些结果证明了开发通用代理以解决多样化任务的可行性，并将 OpenHands-Versa 确立为未来研究的强基线。
引用
@article{arxiv.2506.03011,
title = {Coding Agents with Multimodal Browsing are Generalist Problem Solvers},
author = {Aditya Bharat Soni and Boxuan Li and Xingyao Wang and Valerie Chen and Graham Neubig},
journal= {arXiv preprint arXiv:2506.03011},
year = {2025}
}