仅使用头戴式显示器实时识别原地身体动作与头部手势
人机交互
2023-02-28 v1
摘要
身体动作与头部手势是虚拟环境中自然的交互接口。现有的原地身体动作识别方法常需头戴式显示器（HMD）以外的硬件，使得身体动作接口难以推广至通常仅拥有 HMD 的普通虚拟现实（VR）用户。此外，缺乏统一识别原地身体动作与头部手势的方案，这潜在阻碍了在虚拟环境中利用此类动作与手势探索新颖交互体验。我们提出统一的双流一维卷积神经网络（CNN），用于识别用户原地踏步（WIP）时的身体动作，以及用户静止仅佩戴 HMD 时的头部手势。相较以往方法，我们的方法除 HMD 外无需专用硬件与额外追踪设备，且可识别的身体动作与头部手势数量显著多于现有方法。所提方法共可识别十种原地身体动作与八种头部手势，使其成为可用于虚拟环境交互的即用型身体动作接口（含头部手势）。我们通过虚拟移动任务展示该接口的一种用途。结果表明，该身体动作接口在 VR 移动任务中能可靠检测身体动作，但相比触控手柄接口体力消耗更大。该身体动作接口有望用于新型 VR 体验与应用，尤其适用于以锻炼为目的的 VR 健身应用。
引用
@article{arxiv.2302.13096,
title = {Real-Time Recognition of In-Place Body Actions and Head Gestures using Only a Head-Mounted Display},
author = {Jingbo Zhao and Mingjun Shao and Yaojun Wang and Ruolin Xu},
journal= {arXiv preprint arXiv:2302.13096},
year = {2023}
}
备注
2023 IEEE International Conference on Virtual Reality and 3D User Interfaces, Shanghai, Mar 25-29, 2023