用Lipschitz网络变换辐射场以实现逼真3D场景风格化
计算机视觉与模式识别
2023-03-24 v1 人工智能
摘要
近期在 3D 场景表示与新视角合成方面的进展见证了神经辐射场（NeRFs）的兴起。然而，将 NeRF 用于逼真 3D 场景风格化任务并非易事，该任务旨在从新视角生成视觉一致且逼真的风格化场景。简单地将 NeRF 与逼真风格迁移（PST）耦合会导致跨视角不一致以及风格化视角合成的退化。通过深入分析，我们证明这一非平凡任务可以从新的角度简化：当用 Lipschitz 映射变换预训练 NeRF 的外观表示时，源视角间的一致性与逼真性将被无缝编码进合成结果中。这促使我们构建一个简洁灵活的学习框架，即 LipRF，其通过为 3D 场景定制的 Lipschitz 映射将任意 2D PST 方法升级。在技术层面，LipRF 首先预训练辐射场以重建 3D 场景，然后通过 2D PST 在每视图上模拟风格作为先验，学习一个 Lipschitz 网络来风格化预训练外观。鉴于 Lipschitz 条件高度影响神经网络的表达能力，我们设计了一种自适应正则化以平衡重建与风格化。进一步引入渐进式梯度聚合策略以经济高效的方式优化 LipRF。我们进行了大量实验，展示了 LipRF 在逼真 3D 风格化和物体外观编辑上的高质量与鲁棒性能。
引用
@article{arxiv.2303.13232,
title = {Transforming Radiance Field with Lipschitz Network for Photorealistic 3D Scene Stylization},
author = {Zicheng Zhang and Yinglu Liu and Congying Han and Yingwei Pan and Tiande Guo and Ting Yao},
journal= {arXiv preprint arXiv:2303.13232},
year = {2023}
}
备注
CVPR 2023, Highlight