XBOUND：在状态层面探索设备控制代理的能力边界
人工智能
2025-09-29 v2
摘要
视觉语言模型的最新进展增加了对用于管理图形用户界面(GUI)的设备控制代理(DC代理)的兴趣。随着此类代理日益复杂并集成到各种应用中，有效的评估方法变得至关重要。当前针对DC代理的评估方法主要侧重于指令层面，提供当前状态（例如屏幕截图）和过去执行历史以确定针对目标指令的动作，帮助识别潜在的执行失败。然而，在GUI环境中，单个状态可能包含多个交互组件，每个组件链接到不同的指令，从而提供了基于各种指令目标执行多样操作的机会。仅在指令层面评估代理的性能可能会忽略这些交互的更广泛背景。为了捕获代理性能的更全面视角，我们提出了一种新的评估方法XBOUND，以按状态评估指令完成的准确性。XBOUND提供了一个状态层面的评估框架，作为评估代理在环境状态中能力的工具。我们的评估得出了几个关键见解：UI-TARS作为最强的7B模型脱颖而出，当前代理在指令统一中表现出双峰性能模式，而7B以下模型在状态掌握方面仍然有限。我们进一步发现基于GPT的规划是一个关键瓶颈，并表明基础数据主要有利于动作匹配，而轨迹数据对指令统一更为有效。
引用
@article{arxiv.2505.21279,
title = {XBOUND: Exploring Capability Boundaries of Device-Control Agents at the State Level},
author = {Shaoqing Zhang and Kehai Chen and Zhuosheng Zhang and Rumei Li and Rongxiang Weng and Yang Xiang and Min Zhang},
journal= {arXiv preprint arXiv:2505.21279},
year = {2025}
}