面向基于 MLLM 的 GUI 代理人的查询导向枢轴任务的 grounding 与推理平滑化
计算与语言
2025-03-05 v2 人工智能
计算机视觉与模式识别
人机交互
摘要
感知增强的预训练技术, 特别是通过 grounding 技术, 在广泛应用于提升图形用户界面 (GUI) 代理人的性能.然而, 在资源受限的场景中, 坐标导向 grounding 与行动导向推理之间的格式差异限制了 grounding 在推理任务中的效果.为此, 我们提出一种称为查询推断的查询导向枢轴方法, 作为 GUI grounding 与推理之间的桥梁.通过从屏幕截图及其关联元素坐标中推断潜在用户查询, 查询推断可在理解坐标的同时, 更贴近推理任务.实验结果表明, 在相同训练数据规模下, 查询推断优于先前的 grounding 技术.值得注意的是, 采用不到 0.1% 训练数据的查询推断可实现与大规模 grounding 增强的 OS-Atlas 相当甚至更好的性能.此外, 我们探讨了推理格式的影响, 并表明将额外的语义信息整合到输入中可进一步提升推理性能.我们的代码已公开于 https://github.com/ZrW00/GUIPivot.
引用
@article{arxiv.2503.00401,
title = {Smoothing Grounding and Reasoning for MLLM-Powered GUI Agents with Query-Oriented Pivot Tasks},
author = {Zongru Wu and Pengzhou Cheng and Zheng Wu and Tianjie Ju and Zhuosheng Zhang and Gongshen Liu},
journal= {arXiv preprint arXiv:2503.00401},
year = {2025}
}