通过 4D 重采样实现光场雨滴去除
计算机视觉与模式识别
2022-05-27 v1 图像与视频处理
摘要
光场雨滴去除（LFRR）旨在恢复光场（LF）中被雨滴遮挡的背景区域。与单幅图像相比，光场通过对场景进行规则且密集的采样提供了更丰富的信息。由于雨滴在光场中的视差大于背景，被雨滴遮挡的大部分纹理细节在其他视角中可见。本文中，我们提出一种新颖的 LFRR 网络，直接利用输入含雨滴光场中无雨滴区域的互补像素信息，其由重采样模块和精炼模块组成。具体而言，重采样模块通过重采样位置预测和所提出的 4D 插值生成受雨滴污染更少的新光场。精炼模块改善完全被遮挡背景区域的恢复，并纠正由 4D 插值引起的像素误差。此外，我们精心构建了首个真实场景 LFRR 数据集用于模型训练与验证。实验表明，所提方法能有效去除雨滴，并在背景恢复与视角一致性保持上均达到 SOTA 性能。
引用
@article{arxiv.2205.13165,
title = {Light Field Raindrop Removal via 4D Re-sampling},
author = {Dong Jing and Shuo Zhang and Song Chang and Youfang Lin},
journal= {arXiv preprint arXiv:2205.13165},
year = {2022}
}