沉浸式虚拟现实环境中基于生成式 AI 的虚拟助手用于解剖学教育
人机交互
2024-01-26 v2
摘要
虚拟现实（VR）与交互式 3D 可视化系统已增强了教育体验与环境，尤其在解剖学教育等复杂学科中。基于 VR 的系统超越了传统培训方法在促进学生交互参与方面的潜在局限。然而，在解剖学教育背景下利用生成式人工智能（AI）与语言交流的具身虚拟助手研究尚不充分。本工作中，我们引入一个带有生成式 AI 具身虚拟助手的 VR 环境，以支持参与者回答不同认知复杂度解剖学问题并实现语言交流。我们在一项有 16 名参与者的试点用户研究中评估了该环境的技术效能与可用性。我们采用被试内设计用于虚拟助手配置（化身基与屏幕基），以及两级认知复杂度（知识基与分析基）。结果显示，知识基与分析基问题得分在化身配置方面存在显著差异。此外，结果提供了关于所提虚拟助手配置可用性、认知任务负荷与临场感的见解。我们的环境及试点研究结果提供了超越医学教育的潜在益处与未来研究方向，即使用生成式 AI 与具身虚拟代理作为定制化虚拟对话助手。
引用
@article{arxiv.2306.17278,
title = {Towards Anatomy Education with Generative AI-based Virtual Assistants in Immersive Virtual Reality Environments},
author = {Vuthea Chheang and Shayla Sharmin and Rommy Marquez-Hernandez and Megha Patel and Danush Rajasekaran and Gavin Caulfield and Behdokht Kiafar and Jicheng Li and Pinar Kullu and Roghayeh Leila Barmaki},
journal= {arXiv preprint arXiv:2306.17278},
year = {2024}
}
备注
Accepted to present at IEEE AIxVR 2024. 10 Pages, 6 Figures