Morae：主动为用户选择暂停 UI 代理
人机交互
2025-09-01 v1 计算与语言
计算机视觉与模式识别
摘要
用户界面（UI）代理承诺可以使对盲人和低视力（BLV）用户更易访问或更复杂的 UI。然而，当前的 UI 代理通常在不涉及用户关键选择或使其了解重要上下文信息的情况下执行任务，从而降低了用户的自主性。例如，在我们的调查研究中，一名 BLV 参与者要求购买最便宜的可用气泡水，代理自动从多个同价选项中选择一个，而未提及具有不同口味或更高评分的备选产品。为解决此问题，我们引入了 Morae，这是一个在任务执行期间自动识别决策点的 UI 代理，并暂停以让用户做出选择。Morae 使用大型多模态模型来解释用户查询，同时结合 UI 代码和屏幕截图，并在需要做出选择时向用户提出询问。在针对真实世界网页任务的研究中，Morae 帮助用户完成的任务数量更多，选择的选项更符合他们的偏好，相对于基线代理，包括 OpenAI Operator。更广泛地说，这一工作体现了一种混合主导方法，用户从 UI 代理的自动化中受益，同时能够表达他们的偏好。
引用
@article{arxiv.2508.21456,
title = {Morae: Proactively Pausing UI Agents for User Choices},
author = {Yi-Hao Peng and Dingzeyu Li and Jeffrey P. Bigham and Amy Pavel},
journal= {arXiv preprint arXiv:2508.21456},
year = {2025}
}
备注
ACM UIST 2025