即时照片级真实神经辐射场风格化
计算机视觉与模式识别
2024-07-03 v2
摘要
我们提出即时神经辐射场风格化(Instant Neural Radiance Fields Stylization),一种针对三维场景的多视角图像风格化的新方法。我们的方法基于神经图形基元建模神经辐射场,其使用基于哈希表的位置编码器进行位置嵌入。我们将位置编码器拆分为内容与风格两个子分支,并以内容和风格目标训练网络进行正常的 novel view 图像合成。在推理阶段,我们对位置编码器的输出特征执行 AdaIN,以内容和风格体素网格特征作为参考。利用调整后的特征,可获得 novel view 图像的风格化。我们的方法将风格目标从风格图像扩展到场景图像集,且不需要额外的网络训练来进行风格化。给定一组三维场景图像和一个风格目标(一张风格图像或另一组三维场景),我们的方法在现代 GPU 硬件上不到 10 分钟即可生成在各种视角下具有一致外观的风格化新视图。大量实验结果证明了我们方法的有效性和优越性。
引用
@article{arxiv.2303.16884,
title = {Instant Photorealistic Neural Radiance Fields Stylization},
author = {Shaoxu Li and Ye Pan},
journal= {arXiv preprint arXiv:2303.16884},
year = {2024}
}
备注
Accepted by ICASSP2024. Code: https://github.com/lishaoxu1994/Instant-NeRF-Stylization