免手持虚拟现实
人机交互
2024-12-20 v2 人工智能
计算与语言
摘要
本文介绍了Hands-Free VR，一种基于语音的自然语言虚拟现实接口。用户通过语音发出命令，语音音频数据通过一个针对单词语音相似性和英语口音鲁棒性进行微调的语音转文本深度学习模型转换为文本，然后使用一个对自然语言多样性具有鲁棒性的大型语言模型将文本映射为可执行的VR命令。Hands-Free VR在一项受控的受试者内研究(N=22)中进行了评估，该研究要求参与者找到特定物体并将其放置在不同的配置中。在控制条件下，参与者使用传统的VR用户界面，通过手持控制器抓取、携带和定位物体。在实验条件下，参与者使用Hands-Free VR。结果证实：(1) Hands-Free VR对英语口音（对于20名参与者，英语不是他们的第一语言）和单词语音相似性具有鲁棒性，正确转录语音命令的时间占96.71%；(2) Hands-Free VR对自然语言多样性具有鲁棒性，正确将转录命令映射到可执行命令的时间占97.83%；(3) Hands-Free VR在任务完成时间、总视点平移、总视点旋转以及总左右手平移方面相比传统VR界面具有显著的效率优势；(4) Hands-Free VR在易用性、直观性、人体工程学、可靠性和期望度方面获得了较高的用户偏好评分。
引用
@article{arxiv.2402.15083,
title = {Hands-Free VR},
author = {Jorge Askur Vazquez Fernandez and Jae Joong Lee and Santiago Andrés Serrano Vacca and Alejandra Magana and Radim Pesam and Bedrich Benes and Voicu Popescu},
journal= {arXiv preprint arXiv:2402.15083},
year = {2024}
}
备注
The first two authors contributed equally. Accepted VISIGRAPP@HUCAPP 2025