IReNe：神经辐射场的即时重着色
计算机视觉与模式识别
2025-04-21 v3
摘要
神经辐射场(NeRF)的进步使得3D场景重建和新视角合成成为可能。然而，在保持照片真实感的同时高效编辑这些表示是一个新兴的挑战。近期的方法面临三个主要限制：交互式使用时速度慢、在物体边界处缺乏精度、以及难以确保多视角一致性。我们引入IReNe来解决这些限制，实现在NeRF中快速、近乎实时的颜色编辑。利用预训练的NeRF模型和一张带有用户颜色编辑的训练图像，IReNe在数秒内迅速调整网络参数。这种调整使模型能够生成新的场景视图，准确反映训练图像中的颜色变化，同时控制物体边界和视角特定效果。物体边界控制通过将可训练的分割模块集成到模型中来实现。该过程通过仅重新训练最后一层网络层的权重来提高效率。我们观察到，该层的神经元可以分为负责视角相关外观的神经元和负责漫反射外观的神经元。我们引入了一种自动分类方法来识别这些神经元类型，并仅微调漫反射神经元的权重。这进一步加速了训练，并确保了不同视角间颜色编辑的一致性。在一个带有编辑后物体颜色的新数据集上进行全面验证表明，与竞争对手相比，我们的方法在定量和定性上均有显著进步，速度提升了5倍到500倍。
引用
@article{arxiv.2405.19876,
title = {IReNe: Instant Recoloring of Neural Radiance Fields},
author = {Alessio Mazzucchelli and Adrian Garcia-Garcia and Elena Garces and Fernando Rivas-Manzaneque and Francesc Moreno-Noguer and Adrian Penate-Sanchez},
journal= {arXiv preprint arXiv:2405.19876},
year = {2025}
}