BTL-UI: 基于 Blink-Think-Link 推理模型的 GUI 代理

Shaojie Zhang; Ruoceng Zhang; Pei Fu; Shaokang Wang; Jiahui Yang; Xin Du; Shiqi Cui; Bin Qin; Ying Huang; Zhenbo Luo; Jian Luan

BTL-UI: 基于 Blink-Think-Link 推理模型的 GUI 代理

计算机视觉与模式识别 2025-10-28 v4 人工智能

作者: Shaojie Zhang , Ruoceng Zhang , Pei Fu , Shaokang Wang , Jiahui Yang , Xin Du , Shiqi Cui , Bin Qin , Ying Huang , Zhenbo Luo , Jian Luan

在 arXiv 上查看 ↗ PDF ↗

摘要

在 AI 驱动的人机 GUI 交互自动化领域, 尽管多模态大型语言模型和强化微调技术的快速进展带来了显著进展, 但仍存在一个根本性挑战: 其交互逻辑显著偏离自然的人机 GUI 交互模式。为填补这一空白, 我们提出一种受大脑启发的框架 "Blink-Think-Link" (BTL), 用于人机 GUI 交互, 模拟用户与图形界面之间的认知过程。系统将交互分解为三个在生物学上合理的阶段: (1) Blink - 快速检测并注意相关屏幕区域, 类比于眼球运动; (2) Think - 高层次推理和决策, 类似于认知规划; (3) Link - 为精确的运动控制生成可执行命令, 模拟人类动作选择机制。此外, 我们为 BTL 框架引入两个关键技术创新: (1) Blink 数据生成 - 一个专为 blink 数据优化的自动标注管道; (2) BTL Reward - 第一个基于规则的奖励机制, 使强化学习能够由过程和结果驱动。基于此框架, 我们开发了一个名为 BTL-UI 的 GUI 代理模型, 在全面的基准测试中表现出竞争力, 涵盖静态 GUI 理解和动态交互任务。这些结果提供了该框架在开发高级 GUI 代理方面有效性的结论性实证验证.

关键词

GUI 代理多模态推理强化学习注意力机制动作选择

引用

@article{arxiv.2509.15566,
  title  = {BTL-UI: Blink-Think-Link Reasoning Model for GUI Agent},
  author = {Shaojie Zhang and Ruoceng Zhang and Pei Fu and Shaokang Wang and Jiahui Yang and Xin Du and Shiqi Cui and Bin Qin and Ying Huang and Zhenbo Luo and Jian Luan},
  journal= {arXiv preprint arXiv:2509.15566},
  year   = {2025}
}

备注

Accepted at NeurIPS 2025

BTL-UI: 基于 Blink-Think-Link 推理模型的 GUI 代理

摘要

关键词

引用

备注

相关论文