SeaThru-NeRF:散射介质中的神经辐射场
计算机视觉与模式识别
2023-04-18 v1
摘要
关于用于新视角生成的神经辐射场(NeRFs)的研究正随新模型与扩展而爆发式增长。然而,一个仍未解答的问题是,在水下或雾天场景中当介质强烈影响物体外观时会发生什么。迄今为止,NeRF及其变体忽略了这些情况。但由于NeRF框架基于体渲染,一旦适当建模,其固有能力可解释介质效应。我们为散射介质中的NeRF开发了一种基于SeaThru图像形成模型的新渲染模型,并提出了一种适于同时学习场景信息与介质参数的架构。我们利用模拟与真实场景展示了方法的优势,正确渲染了水下的逼真新视角。更令人振奋的是,我们可以渲染这些场景的清晰视图,去除相机与场景间的介质并重建被介质严重遮挡的远处物体的外观与深度。我们的代码与独特数据集已在项目网站提供。
引用
@article{arxiv.2304.07743,
title = {SeaThru-NeRF: Neural Radiance Fields in Scattering Media},
author = {Deborah Levy and Amit Peleg and Naama Pearl and Dan Rosenbaum and Derya Akkaynak and Simon Korman and Tali Treibitz},
journal= {arXiv preprint arXiv:2304.07743},
year = {2023}
}