G3DST：基于神经辐射场跨场景、跨风格的通用 3D 风格迁移
计算机视觉与模式识别
2024-08-27 v1
摘要
神经辐射场（NeRF）已成为创建高度细致且照片般真实场景的强大工具。现有基于 NeRF 的 3D 风格迁移方法需要针对单个或多个风格进行大量场景专属优化，限制了其适用性和效率。为突破这些限制，本文无需进行场景专属或风格专属优化，即可从 NeRF 中渲染出风格化的新视角。为此，我们利用通用可学习的 NeRF 模型实现 3D 风格迁移，从而实现单一模型跨多场景使用。通过将超网络融入通用 NeRF，本方法实现了风格化新视角的即时生成。此外，我们引入一种新型基于流的多视角一致性损失，以保持多视角间的一致性。我们在多场景和多种艺术风格上进行评估，展示其在无需场景特定隐式模型的情况下，生成高质量且多视角一致的风格化图像的性能。我们的发现表明，该方法不仅在视觉质量上与场景专属方法相当，还显著提升了效率和适用性，为 3D 风格迁移领域带来了显著进展。
引用
@article{arxiv.2408.13508,
title = {G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles},
author = {Adil Meric and Umut Kocasari and Matthias Nießner and Barbara Roessle},
journal= {arXiv preprint arXiv:2408.13508},
year = {2024}
}
备注
GCPR 2024, Project page: https://mericadil.github.io/G3DST/