结合运动匹配与朝向预测为消费级VR设备驱动虚拟化身动画
人机交互
2022-09-26 v1 图形学
摘要
用户虚拟化身（avatar）的动画在传达其姿态、手势以及与虚拟物体或其他用户的相对距离方面起着关键作用。沉浸式VR中的自我化身动画有助于改善用户体验并提供具身感（Sense of Embodiment）。然而，消费级VR设备通常至多包含三个追踪器：一个位于头戴式显示器（HMD），两个位于手持VR控制器。由于从如此稀疏的数据重建用户姿态的问题是病态的，尤其对于下半身，大多数VR游戏采用的方法假定身体朝向与HMD一致，并从一组精简的动画中应用动画混合与时间扭曲。遗憾的是，这种方法导致用户与化身运动之间出现明显的不匹配。在本工作中，我们提出一种适用于当前主流VR设备的用户化身动画新方法。首先，我们使用神经网络基于HMD和手部控制器的追踪信息估计用户身体朝向。然后，我们将该朝向与HMD的速度和旋转一起构建特征向量，输入运动匹配（Motion Matching）算法。我们构建了一个包含佩戴HMD的VR用户动画的MoCap数据库，并用其在自我化身和其他用户化身上测试我们的方法。结果表明，我们的系统能提供丰富的下半身动画，同时正确匹配用户朝向，这使我们不仅能表现向前移动，也能表现任意方向的踏步。
引用
@article{arxiv.2209.11478,
title = {Combining Motion Matching and Orientation Prediction to Animate Avatars for Consumer-Grade VR Devices},
author = {Jose Luis Ponton and Haoran Yun and Carlos Andujar and Nuria Pelechano},
journal= {arXiv preprint arXiv:2209.11478},
year = {2022}
}
备注
Project Website: https://github.com/UPC-ViRVIG/MMVR