基于4D卷积与多尺度高斯过程的光场图像去雨方法
计算机视觉与模式识别
2023-02-01 v2 图像与视频处理
摘要
现有的去雨方法主要集中于单幅输入图像。然而，仅依靠单幅输入图像，极难准确检测并去除雨纹以恢复无雨图像。相比之下，光场图像（LFI）通过全光相机记录每条入射光线的方向与位置，内嵌了目标场景丰富的三维结构与纹理信息。LFI在计算机视觉与图形学领域日益受到关注。然而，充分利用LFI所蕴含的丰富信息（如子视图二维阵列与每幅子视图的视差图）以实现有效去雨仍是一项挑战。本文提出一种新颖方法4D-MGP-SRRNet用于LFI的雨纹去除。该方法以雨天LFI的所有子视图作为输入。为充分利用LFI，其采用4D卷积层同时处理LFI的所有子视图。在流程中，提出带有新颖多尺度自引导高斯过程（MSGP）模块的雨检测网络MGPDNet，以从输入LFI所有子视图的多尺度上检测高分辨率雨纹。引入半监督学习，通过对虚拟世界雨天LFI与真实世界雨天LFI在多尺度上计算伪真值进行训练，使MSGP准确检测雨纹。随后，将所有子视图减去预测雨纹后输入基于4D卷积的深度估计残差网络（DERNet）以估计深度图，并随后转换为雾图。最后，所有子视图与对应雨纹及雾图拼接后输入基于对抗循环神经网络的强大雨天LFI恢复模型，以逐步消除雨纹并恢复无雨LFI。
引用
@article{arxiv.2208.07735,
title = {Rain Removal from Light Field Images with 4D Convolution and Multi-scale Gaussian Process},
author = {Tao Yan and Mingyue Li and Bin Li and Yang Yang and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2208.07735},
year = {2023}
}
备注
This paper has been published on IEEE Transactions on Image Processing