基于跨空间像素整合与跨阶段特征融合的 Transformer 网络用于遥感图像超分辨率
计算机视觉与模式识别
2023-07-07 v1
摘要
遥感图像超分辨率 (RSISR) 在增强空间细节和提升卫星影像质量方面发挥着至关重要的作用。近来，基于 Transformer 的模型在 RSISR 中展现出有竞争力的性能。为缓解全局自注意力带来的二次计算复杂度，多种方法将注意力限制于局部窗口以提升效率。由此，单一注意力层中的感受野不足，导致上下文建模不充分。此外，多数基于 transformer 的方法通过跳跃连接复用浅层特征，仅依赖这些连接将浅层与深层特征同等对待，阻碍了模型刻画其特征的能力。为解决这些问题，我们提出一种称为基于跨空间像素整合与跨阶段特征融合的 Transformer 网络 (SPIFFNet) 的新型 transformer 架构用于 RSISR。我们提出的模型有效增强了对整幅图像的全局认知与理解，促进了跨阶段特征的高效整合。该模型引入跨空间像素整合注意力 (CSPIA) 将上下文信息带入局部窗口，而跨阶段特征融合注意力 (CSFFA) 自适应融合前一阶段的特征以按当前阶段需求改善特征表达。我们在多个基准数据集上进行了综合实验，表明相较于最先进的方法，我们所提 SPIFFNet 在量化指标与视觉质量上均具优越性能。
引用
@article{arxiv.2307.02974,
title = {Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based Transformer Network for Remote Sensing Image Super-Resolution},
author = {Yuting Lu and Lingtong Min and Binglu Wang and Le Zheng and Xiaoxu Wang and Yongqiang Zhao and Teng Long},
journal= {arXiv preprint arXiv:2307.02974},
year = {2023}
}