WebGym：用于训练具有现实任务的视觉网页代理的规模化训练环境
机器学习
2026-05-05 v6 计算机视觉与模式识别
摘要
我们提出WebGym，目前规模最大的开源环境，用于训练真实的视觉网页代理。由于现实网站具有非平稳和多样性，人工或小规模任务集对稳健的策略学习不够。WebGym涵盖近30万个任务，覆盖多样化的真实网站和不同难度水平。我们采用简单的强化学习(RL)配方进行训练，该配方基于代理自身的交互轨迹(rollouts)，使用任务奖励作为反馈指导学习。为实现规模化RL，我们开发了针对网页代理的高吞吐异步rollout系统。该系统相较于朴素实现实现了4-5倍的rollout加速。其次，我们扩展了任务集合的广度、深度和规模，导致持续的性能提升。对强大的基础视觉语言模型Qwen-3-VL-8B-Instruct进行微调后，在仅包含训练期间从未看到的网站任务的分布外测试集上，成功率从26.2%提升至42.9%，显著优于基于专有模型的GPT-4o和GPT-5-Thinking代理（分别达27.1%和29.8%）。这种提升尤为重要，因为我们的测试集仅包含训练期间未出现的网站任务，而许多其他关于训练视觉网页代理的先前工作并非如此。
引用
@article{arxiv.2601.02439,
title = {WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks},
author = {Hao Bai and Alexey Taymanov and Tong Zhang and Aviral Kumar and Spencer Whitehead},
journal= {arXiv preprint arXiv:2601.02439},
year = {2026}
}
备注
Completed acknowledgements