无约束光照下的少样本神经辐射场

在本文中，我们提出了一项新挑战：在输入多视角图像有限且光照条件变化的实际环境中合成新视角图像。神经辐射场（NeRF）作为该任务的先驱工作之一，需要在受约束光照下拍摄的大量多视角图像，而这在实际场景中往往难以获得。尽管已有一些工作能够在给定不同光照图像的情况下合成新视角，但其性能仍依赖于大量的输入多视角图像。为解决此问题，我们提出 ExtremeNeRF，它利用由几何对齐支持的多视角反照率一致性。具体而言，我们提取在不同视角下应不受光照影响的本征图像分量，从而能够在无约束光照下对输入视角与新视角进行直接外观比较。我们利用新创建的 NeRF Extreme 基准（首个面向多观看方向与变化光照下新视角合成的野外基准）提供了用于任务评估的详尽实验结果。