PaletteNeRF：基于调色板的神经辐射场外观编辑
计算机视觉与模式识别
2023-01-25 v2 图形学
摘要
神经辐射场的最新进展使得复杂场景的高保真 3D 重建用于新视角合成成为可能。然而，如何在保持照片级真实感的同时高效编辑此类表示的外观仍有待探索。在这项工作中，我们提出了 PaletteNeRF，一种基于 3D 颜色分解的神经辐射场照片级真实感外观编辑新方法。我们的方法将每个 3D 点的外观分解为基于调色板的基（即由一组 NeRF 型函数定义的 3D 分割）的线性组合，这些基在整个场景中共享。虽然我们基于调色板的基是视角无关的，但我们也预测了一个视角相关函数来捕获颜色残差（例如镜面着色）。在训练过程中，我们联合优化基函数和调色板，并引入新颖的正则化项以促进分解的空间相干性。我们的方法允许用户通过修改调色板来高效编辑 3D 场景的外观。我们还使用压缩的语义特征扩展了我们的框架，以实现语义感知的外观编辑。我们证明了我们的技术在复杂真实世界场景的外观编辑上，在定量和定性方面均优于基线方法。
引用
@article{arxiv.2212.10699,
title = {PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields},
author = {Zhengfei Kuang and Fujun Luan and Sai Bi and Zhixin Shu and Gordon Wetzstein and Kalyan Sunkavalli},
journal= {arXiv preprint arXiv:2212.10699},
year = {2023}
}