NeMo：来自同一动作多视频实例的 3D 神经运动场
计算机视觉与模式识别
2022-12-29 v1
摘要
重建 3D 人体运动的任务具有广泛应用。黄金标准的运动捕捉（MoCap）系统准确，但由于成本、硬件和空间限制而对公众不可及。相比之下，单目人体网格恢复（HMR）方法比 MoCap 更可及，因为它们以单视角视频作为输入。用单目 HMR 方法替代多视角 MoCap 系统将打破当前收集准确 3D 运动的障碍，从而使运动分析和运动驱动动画等令人兴奋的应用对公众可及。然而，当视频包含具有挑战性和动态的运动且未出现在用于训练的现有 MoCap 数据集中时，现有 HMR 方法的性能会下降。这降低了其吸引力，因为动态运动在上述应用中的 3D 运动恢复里常是目标。我们的研究旨在通过利用同一动作多个视频实例间共享的信息，弥合单目 HMR 与多视角 MoCap 系统之间的差距。我们引入了神经运动（NeMo）场。它被优化以表示一组同一动作视频下的底层 3D 运动。我们实证表明，NeMo 可使用来自 Penn Action 数据集的视频恢复运动中的 3D 运动，其中 NeMo 在 2D 关键点检测方面优于现有 HMR 方法。为了使用 3D 指标进一步验证 NeMo，我们收集了一个模仿 Penn Action 中动作的小型 MoCap 数据集，并表明 NeMo 相较于各种基线实现了更好的 3D 重建。
引用
@article{arxiv.2212.13660,
title = {NeMo: 3D Neural Motion Fields from Multiple Video Instances of the Same Action},
author = {Kuan-Chieh Wang and Zhenzhen Weng and Maria Xenochristou and Joao Pedro Araujo and Jeffrey Gu and C. Karen Liu and Serena Yeung},
journal= {arXiv preprint arXiv:2212.13660},
year = {2022}
}