Satori: 基于信念-愿望-意图用户建模的主动式AR助手
人机交互
2025-04-01 v3 人工智能
摘要
增强现实（AR）辅助越来越多地用于支持用户完成组装和烹饪等物理任务。然而，大多数系统依赖于由用户输入触发的被动响应，忽略了丰富的上下文和用户特定信息。为解决此问题，我们提出了Satori，一个新颖的AR系统，它通过同时建模用户的心理状态和环境上下文来主动引导用户。Satori将信念-愿望-意图（BDI）框架与最先进的多模态大语言模型（LLM）相结合，以提供上下文恰当的指导。我们的系统基于两项涉及十二位专家的形成性研究进行设计。我们通过一项十六人的被试内研究评估了该系统，发现Satori在无需手动配置或启发式规则的情况下，达到了与设计师创建的“巫师之杖”（WoZ）系统相当的性能，从而提高了泛化性、可重用性，并扩展了AR辅助的潜力。
引用
@article{arxiv.2410.16668,
title = {Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling},
author = {Chenyi Li and Guande Wu and Gromit Yeuk-Yin Chan and Dishita G Turakhia and Sonia Castelo Quispe and Dong Li and Leslie Welch and Claudio Silva and Jing Qian},
journal= {arXiv preprint arXiv:2410.16668},
year = {2025}
}