基于神经视频渲染的动态细节鲁棒姿态迁移

人体视频的姿态迁移旨在生成目标人物模仿源人物动作的高保真视频。少数研究通过具有深度潜在特征的图像翻译或具有显式 3D 特征的神经渲染取得了很大进展。然而，二者都依赖大量训练数据以生成逼真结果，且由于训练帧不足，在更易获取的互联网视频上性能下降。在本文中，我们展示了即使从短单目视频训练也可保留动态细节。总体而言，我们提出了一个神经视频渲染框架，并耦合基于图像翻译的动态细节生成网络（D2G-Net），其充分利用了显式 3D 特征的稳定性与学习组件的能力。具体而言，提出了一种新颖的纹理表示来编码静态与随姿态变化的外观特征，随后被映射到图像空间并在神经渲染阶段渲染为富含细节的帧。此外，我们在训练阶段引入了一种简洁的时间损失来抑制因本方法生成的高质量动态细节而更明显的细节闪烁。通过广泛对比，我们证明了我们的神经人体视频渲染器即使在仅有 2k–4k 帧的可获取短视频上，也能实现更清晰的动态细节与更鲁棒的性能。