中文

SIPSA-Net:用于卫星影像且具有运动目标对齐的平移不变全色锐化网络

计算机视觉与模式识别 2021-05-07 v1 图像与视频处理

摘要

全色锐化是将高分辨率(HR)全色(PAN)图像及其对应的低分辨率(LR)多光谱(MS)图像融合以生成HR-MS全色锐化图像的过程。然而,由于不同传感器的位置、特性和采集时间不同,PAN与MS图像对往往存在不同程度的未对齐。使用此类未对齐PAN-MS图像对训练的常规基于深度学习的方法,在其生成的PAN锐化图像中会出现双边缘和模糊等多种伪影。本文中,我们提出了一种称为具有运动目标对齐的平移不变全色锐化(SIPSA-Net)的新框架,这是首个考虑运动目标区域如此大未对齐问题的PAN锐化方法。SISPA-Net具有一个特征对齐模块(FAM),即使处于PAN与MS两个不同域之间,也能将一个特征调整为与另一特征对齐。为了在锐化图像中获得更好的对齐效果,新设计了平移不变光谱损失,其忽略原始MS输入中固有的未对齐,从而具有与使用对齐良好的MS图像优化光谱损失相同的效果。大量实验结果表明,与最先进的方法相比,我们的SIPSA-Net在视觉质量和对齐方面均能生成有显著改进的锐化图像。

关键词

引用

@article{arxiv.2105.02400,
  title  = {SIPSA-Net: Shift-Invariant Pan Sharpening with Moving Object Alignment for Satellite Imagery},
  author = {Jaehyup Lee and Soomin Seo and Munchurl Kim},
  journal= {arXiv preprint arXiv:2105.02400},
  year   = {2021}
}

备注

Accepted to CVPR 2021