面向混合现实的基于视频的全身自化身:从端到端系统到用户研究

在本工作中,我们探索通过视频透视在混合现实(MR)应用中创建自化身。我们提出了端到端系统,包括:在商用头戴式显示器(HMD)上的定制 MR 视频透视实现、我们基于深度学习的实时自我中心身体分割算法,以及我们优化的卸载架构,用于分割服务器与 HMD 通信。为验证该技术,我们设计了一个沉浸式 VR 体验,用户需在活火山口上方的狭窄瓦片路径上行走。该研究在三种身体表征条件下进行:虚拟双手、基于颜色的全身体分割视频透视,以及基于深度学习的全身体分割视频透视。该沉浸式体验由 30 名女性和 28 名男性参与。据我们所知,这是首个专注于评估基于视频的自化身以在 MR 场景中表征用户的用户研究。结果显示,不同身体表征在临场感方面无显著差异,在虚拟双手与全身表征之间的某些具身成分有适度改善。视觉质量结果显示,深度学习算法在整体身体感知和整体分割质量方面表现更好。我们提供了关于基于视频的自化身使用的一些讨论,以及对评估方法的一些思考。所提出的端到端解决方案处于最先进水平的边界,因此在成熟之前仍有改进空间。然而,该解决方案作为新型 MR 分布式解决方案的关键起点。