联合遥感图像去模糊与超分辨率：基于像素自适应卷积核与多域注意力
计算机视觉与模式识别
2024-12-10 v1
摘要
遥感图像去模糊和超分辨率（SR）是计算机视觉中的常见任务，分别旨在恢复遥感图像的细节和空间分辨率。然而，真实世界的遥感图像通常同时遭受全局低分辨率和局部模糊退化的影响。尽管精心设计的模型在单独的去模糊或超分辨率任务上表现良好，但由于需要同时恢复全局和局部退化，构建一个统一的模型来联合执行遥感图像去模糊和超分辨率（JRSIDSR）仍然具有挑战性。此外，现有方法难以捕捉去模糊与超分辨率过程之间的相互关联，导致次优结果。为解决这些问题，我们对遥感图像的空间和模糊退化过程进行了统一的理论分析，并提出了一种名为AKMD-Net的双分支并行网络来处理JRSIDSR任务。AKMD-Net包含两个主要分支：去模糊分支和超分辨率分支。在去模糊分支中，我们设计了一个像素自适应卷积核模块（PKAB），用于估计局部且空间变化的模糊核。在超分辨率分支中，我们提出了一个多域注意力模块（MDAB），用于捕获增强高频细节所需的全局上下文信息。此外，我们开发了一个自适应特征融合模块（AFF），用于建模去模糊和超分辨率分支之间的上下文关系。最后，我们设计了一个自适应维纳损失（AW Loss）来抑制重建图像中的先验噪声。大量实验表明，AKMD-Net在常用的遥感图像数据集上达到了最先进的定量和定性性能。源代码可在 https://github.com/zpc456/AKMD-Net 获取。
引用
@article{arxiv.2412.05696,
title = {Jointly RS Image Deblurring and Super-Resolution with Adjustable-Kernel and Multi-Domain Attention},
author = {Yan Zhang and Pengcheng Zheng and Chengxiao Zeng and Bin Xiao and Zhenghao Li and Xinbo Gao},
journal= {arXiv preprint arXiv:2412.05696},
year = {2024}
}