Video2MR：通过增强从 2D 视频中提取的运动生成混合现实 3D 指令
人机交互
2024-05-30 v1
摘要
本文提出了 Video2MR 系统，自动从 2D 视频生成 3D 体育和运动指令。混合现实指令在体育训练中具有巨大的潜力，但现有工作需要大量时间和成本才能创建这些 3D 体验。Video2MR 通过将任意 instructional 视频转化为具备 AI 驱动动作捕捉能力 (DeepMotion) 的 MR 3D 头像来克服这一限制。然后，通过以下增强技术自动提升头像动作：1) 对比和突出用户与头像姿态之间的差异；2) 可视化特定身体部位的关键轨迹和运动；3) 使用身体动作控制时间和速度；4) 重新定位头像以获得不同视角。我们在 Hololens 2 和 Azure Kinect 平台上开发了该系统，并展示了包括瑜伽、舞蹈、足球、网球等多种体育运动的 various use cases。研究结果表明，与现有的 2D 视频指令相比，Video2MR 提供了更具沉浸性和趣味性的学习体验。
引用
@article{arxiv.2405.18565,
title = {Video2MR: Automatically Generating Mixed Reality 3D Instructions by Augmenting Extracted Motion from 2D Videos},
author = {Keiichi Ihara and Kyzyl Monteiro and Mehrad Faridan and Rubaiat Habib Kazi and Ryo Suzuki},
journal= {arXiv preprint arXiv:2405.18565},
year = {2024}
}