GUI-Rise：面向GUI导航的结构化推理与历史概括
最优化与控制
2026-04-06 v6 信号处理
机器学习
摘要
尽管多模态大语言模型（MLLM）已推进 GUI navigation agents 的发展，但当前方法在跨域泛化和有效历史利用方面存在局限。我们提出一种系统性地将结构化推理、动作预测与历史概括整合的推理增强框架。结构化推理组件生成连贯的链式思考分析，结合进度估计与决策推理，既为即时动作预测提供指导，也为紧凑的历史概括生成未来步骤的依据。基于此框架，我们通过在伪标记轨迹上的监督微调和基于组相对策略优化（GRPO）的强化学习训练了一个 GUI agent，名为 GUI-Rise。该框架采用专门奖励，包括历史感知目标，直接将概括质量与后续动作性能关联。全面的基准评估表明，在相同训练数据条件下，我们的方法实现了最先进的成绩，尤其在跨域场景中表现突出。这些发现验证了该框架在保持稳健推理和跨 diverse GUI navigation 任务的泛化能力方面的有效性。代码已公开于 https://leon022.github.io/GUI-Rise。
关键词
引用
@article{arxiv.2510.27211,
title = {Nonasymptotic Convergence Rates for Plug-and-Play Methods With MMSE Denoisers},
author = {Henry Pritchard and Rahul Parhi},
journal= {arXiv preprint arXiv:2510.27211},
year = {2026}
}