SwipeGen：通过类人滑动合成弥合 GUI 智能体的执行鸿沟
计算机视觉与模式识别
2026-01-27 v1
摘要
随着图形用户界面（GUI）智能体在自动化 GUI 交互任务中的广泛应用，大量研究致力于改进 GUI 感知，以将任务指令落地为具体的动作步骤。然而，这些智能体的步骤执行能力已逐渐成为任务完成的新瓶颈。特别是，现有的 GUI 智能体通常采用过于简化的策略来处理滑动交互，使其无法准确复现类人行为。为解决这一局限性，我们将人类滑动动作分解为多个可量化维度，并提出了一条自动化流水线 SwipeGen，通过 GUI 探索合成类人滑动交互。基于此流水线，我们构建并发布了首个用于评估 GUI 智能体滑动执行能力的基准。此外，利用合成数据，我们提出了 GUISwiper，一种具备增强交互执行能力的 GUI 智能体。实验结果表明，GUISwiper 的滑动执行准确率达到 69.07%，较现有 VLM 基线提升了 214%。
引用
@article{arxiv.2601.18305,
title = {SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis},
author = {Xuan Wang and Siyuan Su and Quantong Fu and Yongxiang Hu and Yangfan Zhou},
journal= {arXiv preprint arXiv:2601.18305},
year = {2026}
}
备注
15 pages, 3 figures. Under review. Code and dataset will be released upon acceptance