迈向4D人体视频风格化

我们提出了迈向4D（三维和时间）人体视频风格化的第一步，该工作在一个统一框架内解决了风格迁移、新视角合成和人体动画问题。尽管已经开发了许多视频风格化方法，但它们通常局限于渲染输入视频特定视角的图像，缺乏泛化到动态场景中新视角和新姿态的能力。为了克服这些限制，我们利用神经辐射场（NeRFs）来表示视频，在渲染的特征空间中进行风格化。我们的创新方法涉及使用两个NeRFs同时表示人体主体和周围场景。这种双重表示有助于在各种姿态和新视角下对人体主体进行动画化。具体来说，我们引入了一种新颖的几何引导的三平面表示，与直接三平面优化相比，显著增强了特征表示的鲁棒性。在视频重建之后，在NeRFs渲染的特征空间中进行风格化。大量实验表明，所提出的方法在风格化纹理和时间一致性之间取得了优越的平衡，超越了现有方法。此外，我们的框架独特地扩展了其能力以适应新姿态和新视角，使其成为创意人体视频风格化的多功能工具。