Explorer：面向多模态网络智能体的可扩展探索驱动网络轨迹合成
人工智能
2025-06-02 v4 人机交互
摘要
大型多模态模型（LMM）的最新成功激发了能够自主完成复杂网络任务的智能体应用。虽然开源LMM智能体在离线评估基准上取得了显著进展，但它们在更真实的在线环境中的性能仍远低于人类水平。一个关键瓶颈是缺乏跨多个领域的多样化、大规模轨迹级数据集，而收集这些数据成本高昂。本工作通过开发一种可扩展的方案来解决这一挑战，合成迄今最大且最多样化的轨迹级数据集，包含超过94K条成功的多模态网络轨迹，涵盖49K个唯一URL、720K张截图和3300万个网络元素。特别是，我们利用广泛的网络探索和精炼来获得多样化的任务意图。每条成功轨迹的平均成本为28美分，使社区中的广泛用户能够负担得起。利用该数据集，我们训练了Explorer，一个多模态网络智能体，并在Mind2Web-Live、Multimodal-Mind2Web和MiniWob++等离线和在线网络智能体基准上展示了强劲性能。此外，我们的实验凸显了数据扩展是提升网络智能体能力的关键驱动因素。我们希望本研究使更大规模的基于LMM的智能体研究更加可及。
引用
@article{arxiv.2502.11357,
title = {Explorer: Scaling Exploration-driven Web Trajectory Synthesis for Multimodal Web Agents},
author = {Vardaan Pahuja and Yadong Lu and Corby Rosset and Boyu Gou and Arindam Mitra and Spencer Whitehead and Yu Su and Ahmed Awadallah},
journal= {arXiv preprint arXiv:2502.11357},
year = {2025}
}
备注
ACL 2025 (Findings)