面向单目动态人类的运动导向组合神经辐射场

本文引入Motion-oriented Compositional Neural Radiance Fields（MoCo-NeRF），一个用于通过新颖的非刚性运动建模方法对单目人类视频进行自由视点渲染的框架。在动态衣着的人类场景中，复杂的衣物动力学产生非刚性运动，这些运动在本质上与骨骼关节运动不同，对渲染质量至关重要。传统方法将非刚性运动建模为骨骼变换的空间（3D）偏差。然而，由于缺乏直接监督，这种方法要么耗时，要么难以实现最佳质量。为此，我们提出了一种新方法，将非刚性运动建模为辐射残差场，以便在渲染中获得更直接的颜色监督，并将刚性辐射场作为先验以降低学习过程的复杂度。我们的做法利用单个多分辨率哈希编码（MHE）同时学习来自刚性骨骼运动的canonical T-pose表示以及用于非刚性运动的辐射残差场。此外，为进一步提高训练效率和可用性，我们将MoCo-NeRF扩展以支持单个框架内多个主体的同时训练，归功于我们对非刚性运动建模的有效设计。通过在ZJU-MoCap和MonoCap上进行大量实验，清晰地展示了在单主体和多主体设置下均实现了最先进的性能。代码和模型将在项目页面公开：https://stevejaehyeok.github.io/publications/moco-nerf。