iSHIFT：具有自适应感知的轻量级快慢速 GUI 智能体
计算机视觉与模式识别
2025-12-29 v1
摘要
多模态大语言模型 (MLLMs) 在解释和交互复杂的、像素丰富的图形用户界面 (GUI) 环境方面显示出强大的潜力。然而，构建既对高层任务高效又对细粒度交互精确的智能体仍然具有挑战性。GUI 智能体必须高效地执行常规操作，同时处理需要精确视觉定位的任务，但现有方法在准确性依赖于识别特定界面元素时往往表现不佳。这些 MLLMs 仍然规模庞大，且无法根据手头任务调整其推理深度。在这项工作中，我们引入了 iSHIFT：具有灵活令牌的隐式快慢混合推理，这是一个轻量级智能体，它集成了隐式思维（隐式思维链）与感知控制模块。iSHIFT 使 MLLM 能够在慢速模式（利用详细的视觉定位以实现高精度）和快速模式（使用全局线索以提高效率）之间切换。特殊的感知令牌引导注意力到相关的屏幕区域，使模型能够决定如何推理以及关注何处。尽管 iSHIFT 只有 2.5B 的紧凑尺寸，但它在多个基准数据集上达到了最先进的性能。
引用
@article{arxiv.2512.22009,
title = {iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception},
author = {Sarthak Mehrotra and Sairam V C Rebbapragada and Mani Hemanth Reddy Bonthu and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2512.22009},
year = {2025}
}