HyperTransformer：一种用于全色锐化的纹理与光谱特征融合 Transformer
计算机视觉与模式识别
2022-03-29 v3 图像与视频处理
摘要
全色锐化旨在将配准的高分辨率全色图像（PAN）与低分辨率高光谱图像（LR-HSI）融合，生成具有高光谱和高空间分辨率的增强 HSI。现有的全色锐化方法忽视使用注意力机制将 PAN 的 HR 纹理特征迁移到 LR-HSI 特征，导致空间和光谱失真。在本文中，我们提出一种用于全色锐化的新型注意力机制，称为 HyperTransformer，其中 LR-HSI 和 PAN 的特征分别被构建为 transformer 中的查询和键。HyperTransformer 由三个主要模块组成，即用于 PAN 和 HSI 的两个独立特征提取器、一个多头特征软注意力模块以及一个空间-光谱特征融合模块。该网络通过学习 PAN 和 LR-HSI 的跨特征空间依赖关系和长程细节，提升了全色锐化 HSI 的空间和光谱质量指标。此外，HyperTransformer 可在主干网络的多空间尺度上利用以获得改进性能。在三个广泛使用的数据集上进行的大量实验表明，HyperTransformer 在空间和光谱质量指标上均比最先进的方法取得显著改进。实现代码和预训练权重可在 https://github.com/wgcban/HyperTransformer 获取。
引用
@article{arxiv.2203.02503,
title = {HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening},
author = {Wele Gedara Chaminda Bandara and Vishal M. Patel},
journal= {arXiv preprint arXiv:2203.02503},
year = {2022}
}
备注
Accepted at CVPR'22. Project page: https://www.wgcban.com/research#h.ar24vwqlm021 Code available at: https://github.com/wgcban/HyperTransformer