雪掩膜引导的自适应残差网络用于图像除雪
计算机视觉与模式识别
2022-07-12 v1
摘要
恶劣天气下的图像复原是一项具有挑战性的任务。过去大多数工作集中于去除图像中的雨和雾现象。然而,雪也是一种极为常见的大气现象,会严重影响目标检测和语义分割等高层计算机视觉任务的性能。近来,一些除雪方法被提出,且多数方法直接将雪图像作为优化对象处理。然而,雪的位置和形状分布复杂。因此,未能有效检测雪花/雪条将影响除雪并限制模型性能。为解决这些问题,我们提出了一种雪掩膜引导的自适应残差网络(SMGARN)。具体而言,SMGARN由三部分组成:掩膜网络(Mask-Net)、引导融合网络(GF-Net)和重建网络(Reconstruct-Net)。首先,我们构建带有自像素注意力(SA)和跨像素注意力(CA)的Mask-Net以捕获雪花特征并精确定位雪的位置,从而预测准确的雪掩膜。其次,预测的雪掩膜被送入专门设计的GF-Net以自适应引导模型去除雪。最后,使用高效的Reconstruct-Net去除蒙罩效应并校正图像以重建最终的无雪图像。大量实验表明,我们的SMGARN在数值上优于所有现有的除雪方法,且重建图像在视觉对比上更清晰。所有代码将公开可用。
引用
@article{arxiv.2207.04754,
title = {Snow Mask Guided Adaptive Residual Network for Image Snow Removal},
author = {Bodong Cheng and Juncheng Li and Ying Chen and Shuyi Zhang and Tieyong Zeng},
journal= {arXiv preprint arXiv:2207.04754},
year = {2022}
}