ScatterNeRF：基于物理的逆神经渲染穿透雾霭视物
计算机视觉与模式识别
2023-05-04 v1
摘要
在恶劣天气条件（无论是雪、雨还是雾）下的视觉具有挑战性。在这些场景中，散射和衰减会严重降低图像质量。然而，处理此类恶劣气候条件对于自动驾驶车辆、无人机和机器人应用的运行至关重要，而人类在这些条件下的表现受阻碍最为严重。大量工作探索使用去雾方法去除天气引起的图像退化。大多数方法依赖单幅图像作为输入，难以从合成的全监督训练方法中泛化，或难以从非配对真实世界数据集生成高保真结果。由于数据成为瓶颈，且当今大多数训练数据依赖良好天气条件而将恶劣气候作为离群值，我们依赖逆渲染方法来重建场景内容。我们提出 ScatterNeRF，一种神经渲染方法，它能充分渲染雾天场景，并将无雾背景与参与介质分解开来——利用来自短程车载序列的多视角，无需大型训练数据语料库。相反，该渲染方法在多多视角场景自身上优化，而此类场景通常可由自动驾驶车辆、机器人或无人机在运行中捕获。具体而言，我们提出一种用于散射体积与场景物体的解耦表示，并借助物理启发的损失学习场景重建。我们通过捕获多视角 In-the-Wild 数据以及在大尺度雾室中的受控捕获来验证我们的方法。
引用
@article{arxiv.2305.02103,
title = {ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering},
author = {Andrea Ramazzina and Mario Bijelic and Stefanie Walz and Alessandro Sanvito and Dominik Scheuble and Felix Heide},
journal= {arXiv preprint arXiv:2305.02103},
year = {2023}
}