OS-Genesis：通过逆向任务合成自动化 GUI 智能体轨迹构建
人工智能
2025-06-30 v3 计算与语言
计算机视觉与模式识别
人机交互
摘要
由视觉语言模型（VLM）驱动的图形用户界面（GUI）智能体已展现出类人计算机控制能力。尽管其在数字自动化方面具有实用性，但仍存在一个关键瓶颈：收集用于训练的高质量轨迹数据。常见的收集方法依赖于人工监督或通过执行预定义任务生成合成数据的做法，这两种做法要么资源密集，要么无法保证数据质量。此外，这些方法还受限于数据多样性不足以及合成数据与真实环境之间的显著差距。为此，我们提出了 OS-Genesis，一种新的 GUI 数据合成管道，通过逆转常规轨迹收集过程来解决上述挑战。OS-Genesis 使智能体首先感知环境并执行逐步交互，然后反推出高质量的任务以实现轨迹级别的探索。随后，采用轨迹奖励模型确保所生成轨迹的质量。我们展示，使用 OS-Genesis 训练的 GUI 智能体在高度具有挑战性的在线基准测试中表现显著提升。深入分析进一步验证了 OS-Genesis 的效率及其在数据质量和多样性方面相较于现有合成方法的优势。我们的代码、数据和检查点均已在 https://qiushisun.github.io/OS-Genesis-Home/ 提供。
引用
@article{arxiv.2412.19723,
title = {OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis},
author = {Qiushi Sun and Kanzhi Cheng and Zichen Ding and Chuanyang Jin and Yian Wang and Fangzhi Xu and Zhenyu Wu and Chengyou Jia and Liheng Chen and Zhoumianze Liu and Ben Kao and Guohao Li and Junxian He and Yu Qiao and Zhiyong Wu},
journal= {arXiv preprint arXiv:2412.19723},
year = {2025}
}
备注
ACL 2025 Camera Ready