手机UI自动化中的智能体主动交互

手机自动化智能体旨在自主执行给定的自然语言用户请求，例如安排约会或预订酒店。尽管大量研究工作致力于屏幕理解和动作规划，但复杂任务通常需要用户交互才能成功完成。使智能体与用户期望对齐对于建立信任和实现个性化体验至关重要。这要求智能体在必要时主动与用户互动，避免违反其偏好的行为，同时在期望默认操作时避免提出不必要的问题。我们认为，这种微妙的智能体主动与用户的交互值得重点关注。为促进此类研究，本文提出了一种任务形式化，用于检测用户交互需求并生成适当消息。我们详细定义了该任务，包括交互时机和智能体自主范围等方面。利用这一定义，我们推导出标注指南，并基于现有UI自动化数据集创建了AndroidInteraction，一个多样化的数据集。我们测试了几种基于文本和多模态的基线模型，发现该任务对当前LLM来说非常具有挑战性。我们相信，我们的任务形式化、数据集、基线模型和分析将对未来的UI自动化研究有价值，特别是在解决这个关键但常被忽视的智能体主动交互方面。这项工作为在手机UI自动化背景下，使个性化智能体在需要时恰当地与用户互动提供了必要的基础。