用于云去除的注意力上下文注意力机制
计算机视觉与模式识别
2024-11-21 v1 图像与视频处理
摘要
云层覆盖会严重阻碍遥感图像用于地球观测,促使云去除技术的迫切进步。近年来,深度学习策略在恢复云遮挡区域方面显示出巨大潜力。这些方法利用卷积提取复杂的局部特征,并利用注意力机制获取长程信息,从而提高了对场景的整体理解。然而,这些方法的一个常见缺点是生成的图像常常存在模糊、伪影和不一致。部分原因是注意力机制基于广义相似度分数对所有特征施加权重,这可能会无意中引入来自云覆盖区域的噪声和不相关细节。为了克服这一限制并更好地捕捉相关的远距离上下文,我们引入了一种名为注意力上下文注意力(AC-Attention)的新方法。该方法通过动态学习数据驱动的注意力选择分数来增强传统注意力机制,使其能够有效过滤噪声和不相关特征。通过将AC-Attention模块集成到DSen2-CR云去除框架中,我们显著提高了模型捕捉必要远距离信息的能力,从而实现更有效的云去除。我们对各种数据集的广泛评估表明,我们的方法在图像重建质量方面优于现有方法。此外,我们通过将AC-Attention集成到多种现有方法和广泛使用的网络架构中进行了消融研究。这些研究证明了AC-Attention的有效性和适应性,并揭示了其聚焦于相关特征的能力,从而提高了网络的整体性能。代码可在 \url{https://github.com/huangwenwenlili/ACA-CRNet} 获取。
引用
@article{arxiv.2411.13042,
title = {Attentive Contextual Attention for Cloud Removal},
author = {Wenli Huang and Ye Deng and Yang Wu and Jinjun Wang},
journal= {arXiv preprint arXiv:2411.13042},
year = {2024}
}
备注
13 pages, 7 figures