基于隐式表示与超网络的三维场景风格化

在本工作中，我们旨在解决三维场景风格化问题——在任意新视角下生成该场景的风格化图像。一种直接的方案是结合现有的新视角合成与图像/视频风格迁移方法，但这常导致模糊结果或外观不一致。受神经辐射场（NeRF）方法高质量结果的启发，我们提出一种联合框架，直接以所需风格渲染新视角。我们的框架由两个组件构成：基于神经辐射场模型的三维场景隐式表示，以及将风格信息迁移至场景表示的超网络。具体而言，我们的隐式表示模型将场景解耦为几何与外观分支，超网络学习从参考风格图像预测外观分支的参数。为缓解训练困难与内存负担，我们提出两阶段训练流程与块子采样方法，以利用神经辐射场模型优化风格与内容损失。优化后，我们的模型能够在任意视角与任意风格下渲染一致的新视角。定量评估与人体受试者研究均表明，所提方法在不同视角间生成了具有一致外观的忠实风格化结果。