面向物理任务指导的人工智能与混合现实互动设计工具包
人机交互
2025-04-29 v1
摘要
物理技能习得（如运动技巧至手术程序）需要指令与反馈。缺乏人类专家时，物理任务指导 (PTG) 系统可作为有前景的替代方案。这些系统整合人工智能 (AI) 和混合现实 (MR)，为用户在练习和学习运动技能时提供实时反馈与指导。然而，PTG 系统的设计超出了工程复杂性。用户、AI、MR 界面与物理环境之间的错综交织，构成了独特的互动设计挑战。为此，我们提出一种互动设计工具包，源自对 10 周graduate 课程中八支学生团队开发的 PTG 原型分析。该工具包包含设计考虑事项、设计模式及互动画布。我们的评估表明，该工具包可为从事 PTG 系统设计的实践者以及开发人机互动设计新工具的研究者提供有价值的资源。
引用
@article{arxiv.2412.16892,
title = {An Interaction Design Toolkit for Physical Task Guidance with Artificial Intelligence and Mixed Reality},
author = {Arthur Caetano and Alejandro Aponte and Misha Sra},
journal= {arXiv preprint arXiv:2412.16892},
year = {2025}
}