局部风格化的神经辐射场
计算机视觉与模式识别
2023-09-20 v1 图形学
摘要
近年来，将风格化应用于参考风格图像下的3D场景、尤其是神经辐射场（NeRF）的兴趣日益增长。虽然直接在NeRF上执行风格化保证了任意新视角下外观的一致性，但如何引导风格图像中的图案迁移到NeRF场景的不同部分是一个挑战性问题。在本工作中，我们提出一种基于局部风格迁移的NeRF风格化框架。具体而言，我们使用哈希网格编码学习外观与几何组件的嵌入，并表明哈希表定义的映射允许我们在一定程度上控制风格化。随后通过固定几何分支、优化外观分支实现风格化。为支持局部风格迁移，我们提出一种新的损失函数，利用分割网络与二分图匹配建立风格图像与体渲染获得的内容图像之间的区域对应。我们的实验表明，该方法在新视角合成下产生合理的风格化结果，且通过操控与定制区域对应具有灵活可控性。
引用
@article{arxiv.2309.10684,
title = {Locally Stylized Neural Radiance Fields},
author = {Hong-Wing Pang and Binh-Son Hua and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2309.10684},
year = {2023}
}
备注
ICCV 2023