CMT：用于全色锐化的跨调制 Transformer 与混合损失
计算机视觉与模式识别
2024-04-02 v1 图像与视频处理
摘要
全色锐化旨在通过融合高分辨率全色 (PAN) 图像与多光谱 (MS) 图像来提升遥感图像 (RSI) 质量。然而，由于缺乏能够有效协调各自优势的系统性框架，先前技术在最优融合 PAN 和 MS 图像以增强空间和光谱信息方面存在困难。为此，我们提出了跨调制 Transformer (CMT)，这是一种改进注意力机制的先驱方法。该方法利用信号处理中稳健的调制技术，并将其集成到注意力机制的计算中。它根据调制器的特征动态调整载体的值 (V) 矩阵的权重，从而解决历史难题并实现空间与光谱属性的无缝集成。此外，考虑到 RSI 呈现大尺度特征和边缘细节以及局部纹理，我们设计了一个结合傅里叶变换和小波变换的混合损失函数来有效捕捉这些特征，从而提高全色锐化中的空间和光谱精度。大量实验表明，我们的框架性能优于现有的 SOTA 方法。代码将公开发布以鼓励进一步研究。
引用
@article{arxiv.2404.01121,
title = {CMT: Cross Modulation Transformer with Hybrid Loss for Pansharpening},
author = {Wen-Jie Shu and Hong-Xia Dou and Rui Wen and Xiao Wu and Liang-Jian Deng},
journal= {arXiv preprint arXiv:2404.01121},
year = {2024}
}