基于自注意力机制的无监督全色锐化
计算机视觉与模式识别
2020-09-01 v3 图像与视频处理
摘要
全色锐化旨在将低空间分辨率(LR)但光谱特征丰富的多光谱图像(MSI)与高空间分辨率(HR)但光谱特征较差的全色图像(PAN)进行融合。传统方法通常将从 PAN 中提取的高频细节注入到上采样后的 MSI 中。近期深度学习工作多为有监督的，假设可获得 HR MSI，这尤其对于卫星图像是不现实的。而且，这些方法未能充分利用 MSI 中丰富的光谱特征。由于卫星图像中混合像元广泛存在，每个像元往往覆盖不止一种组成物质，亚像元级的全色锐化变得至关重要。本文提出一种基于自注意力机制(SAM)的深度学习无监督全色锐化(UP)方法，称为 UP-SAM。本文的贡献有三方面。首先，提出自注意力机制，其中空间变化的细节提取与注入函数根据指示 MSI 光谱特征的注意力表示以亚像元精度进行估计。其次，此类注意力表示由所提具有 stick-breaking 结构、满足混合像元物理约束的堆叠注意力网络从混合像元中导出。第三，细节提取与注入函数基于注意力表示是空间变化的，大幅提升了重建精度。大量实验结果表明，与当前最优方法相比，所提方法能够重建更清晰、细节更多、光谱失真更小的不同类型 MSI。
引用
@article{arxiv.2006.09303,
title = {Unsupervised Pansharpening Based on Self-Attention Mechanism},
author = {Ying Qu and Razieh Kaviani Baghbaderani and Hairong Qi and Chiman Kwan},
journal= {arXiv preprint arXiv:2006.09303},
year = {2020}
}
备注
Accepted by TGRS