双边引导的辐射场处理

神经辐射场（NeRF）利用多视图一致性，在新视角合成方面取得了前所未有的性能。在捕获多个输入时，现代相机中的图像信号处理（ISP）会独立增强它们，包括曝光调整、色彩校正、局部色调映射等。虽然这些处理极大地改善了图像质量，但它们常常破坏多视图一致性假设，导致重建辐射场中出现“漂浮物”。为解决这一问题而不损害视觉美感，我们旨在首先在NeRF训练阶段解耦ISP的增强效果，然后在完成阶段将用户期望的增强效果重新应用于重建的辐射场。此外，为了使重新应用的增强效果在新视角之间保持一致，我们需要在3D空间中执行成像信号处理（即“3D ISP”）。为此，我们采用双边网格（一种局部仿射模型）作为ISP处理的通用表示。具体来说，我们优化每个视角的3D双边网格与辐射场，以近似每个输入视图的相机流水线效果。为了实现用户可调节的3D后期处理，我们提出从给定的单视图编辑中学习一个低秩4D双边网格，将照片增强提升到整个3D场景。我们证明，我们的方法可以通过有效去除漂浮物并执行用户修饰的增强效果，来提升新视角合成的视觉质量。源代码和数据可在 https://bilarfpro.github.io 获取。