面向 GUI 代理的检索增强生成式指南
计算与语言
2025-09-30 v1 人工智能
机器学习
摘要
由视觉语言模型（VLM）驱动的 GUI 代理在自动化复杂数字任务方面显示出巨大的潜力。然而，由于稀缺的训练数据以及这些任务固有的复杂性，这些任务常常需要覆盖罕见、未见情景的长尾知识，限制了其在实际应用中的有效性。我们提出 RAG-GUI，一种在推理时利用网络教程的轻量级 VLM。RAG-GUI 通过监督微调（SFT）进行预热，并通过自指导拒绝采样微调（RSF）进一步精炼。设计为模型无关的方案，RAG-GUI 作为通用的插件，能够增强任何基于 VLM 的代理。我们在三个不同任务上进行评估，结果一致优于基线代理，并在两种模型规模上相较于其他推理基线提升 2.6%至 13.3%，显示出强大的泛化能力和实际的即插即用能力。
引用
@article{arxiv.2509.24183,
title = {Retrieval-augmented GUI Agents with Generative Guidelines},
author = {Ran Xu and Kaixin Ma and Wenhao Yu and Hongming Zhang and Joyce C. Ho and Carl Yang and Dong Yu},
journal= {arXiv preprint arXiv:2509.24183},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Main Conference)