MDeRainNet：一种高效的宏像素图像雨去除网络

由于雨天天气总是会降低图像质量，并为大多数基于计算机视觉的智能系统带来巨大挑战，图像去雨已成为热门研究主题。幸好，在雨天光场（LF）图像中，被雨线遮挡的背景在另一个子视图中可能可见，并且隐含的深度信息和记录的4维结构信息可能有助于雨线检测和去除。然而，现有的LF图像雨去除方法要么未充分利用4维LF数据的全局关联，要么仅利用部分子视图，导致去雨性能次优，且无法为所有去雨后的子视图提供相同质量。本文提出了一种名为MDeRainNet的高效网络，用于LF图像的雨线去除。该网络采用多尺度编码器-解码器架构，直接在宏像素图像（MPI）上工作以提高雨去除性能。为充分建模空间信息与角度信息之间的全局关联，我们提出了扩展空间-角度交互（Extended Spatial-Angular Interaction, ESAI）模块，其中还提出了一种简单且有效的基于Transformer的空间-角度交互注意力（Spatial-Angular Interaction Attention, SAIA）模块，用于建模长程几何关联并充分利用角度信息。此外，为提高网络在真实雨天场景中的泛化性能，我们提出了一种 novel 的半监督学习框架，用于MDeRainNet，该框架利用多级KL损失桥接合成雨线和真实雨线特征之间的领域差距，并引入彩色残留图像引导的对比正则化以重建雨自由图像。在合成数据和真实世界LFIs上进行的大量实验表明，我们的方法在定量和定性方面均优于当前最先进的方法。