从 UI 轨迹识别用户目标
计算与语言
2025-03-04 v3 人工智能
摘要
识别用户目标和意图被广泛应用于各种以个性化为导向的场景，如个性化智能体、改进搜索响应、广告、用户分析等。本文提出了一种新任务，即从观察到的 UI 轨迹中进行目标识别，旨在推断用户在 UI 环境中执行任务时的详细意图。为支持该任务，我们还引入了一种新型评估方法，用于评估两个意图描述在特定 UI 环境下是否可被视为同义。此外，我们展示了该任务如何利用针对 UI 自动化逆问题设计的数据集，包括 Android 和 Web 数据集用于我们的实验。为对标该任务，我们比较了人类和最新模型（具体为 GPT-4 和 Gemini-1.5 Pro）的性能，使用我们提出的指标。结果显示，GPT-4 和 Gemini-1.5 Pro 的表现均低于人类水平，这凸显了本提议任务的挑战性以及显著的提升空间。这一工作突显了在 UI 轨迹中进行目标识别的重要性，为进一步的探索和该领域的发展奠定了基础。
引用
@article{arxiv.2406.14314,
title = {Identifying User Goals from UI Trajectories},
author = {Omri Berkovitch and Sapir Caduri and Noam Kahlon and Anatoly Efros and Avi Caciularu and Ido Dagan},
journal= {arXiv preprint arXiv:2406.14314},
year = {2025}
}