中文

MAESTRO:基于用户偏好在带图形用户界面的对话代理中自适应图形用户界面并引导导航

人机交互 2026-04-08 v1

摘要

现代面向任务的聊天机器人在自然语言对话旁展示图形用户界面元素,但代理的角色大多仅限于将自然语言输入解释为图形用户界面动作并遵循线性工作流。在偏好驱动的多步骤任务(如预订航班或预订餐厅)中,早期的选择会约束后续选项,并可能迫使用户从头开始。用户偏好是这些决策的关键标准,但现有代理并未系统地利用它们。我们提出 MAESTRO,将代理的角色从执行扩展到决策支持。MAESTRO 维护一个共享偏好记忆,从自然语言语句中提取偏好及其强度,并提供两种机制。基于偏好的图形用户界面自适应根据偏好强度对现有图形用户界面施加原地操作符(增强、排序、筛选和高亮),以支持阶段内比较。偏好引导的工作流导航检测偏好与可用选项之间的冲突,提出回溯,并记录失败路径以避免重新访问死胡同。我们通过一项被试内研究对 MAESTRO 在电影预订带图形用户界面的对话代理(CAG)中进行了评估,包含两种条件(基线 vs. MAESTRO)和两种模式(文本 vs. 语音),共有 N = 33 名参与者。

关键词

引用

@article{arxiv.2604.06134,
  title  = {MAESTRO: Adapting GUIs and Guiding Navigation with User Preferences in Conversational Agents with GUIs},
  author = {Sangwook Lee and Sang Won Lee and Adnan Abbas and Young-Ho Kim and Yan Chen},
  journal= {arXiv preprint arXiv:2604.06134},
  year   = {2026}
}

备注

10 pages, 5 figures