基于多头注意力残余展开网络的模型化 pansharpening
图像与视频处理
2024-09-05 v1 计算机视觉与模式识别
摘要
图像拼接和高斯谱拼接的目标是准确地将高分辨率单色 (PAN) 图像与低分辨率多光谱 (MS) 或高光谱 (HS) 图像分别进行合并。展开式融合方法将深度学习的强大表征能力与模型化方法的鲁棒性相结合。这些技术涉及将能量最小化的优化方案步骤展开到深度学习框架中， resulting in efficient and highly interpretable architectures。本文提出了一种用于卫星图像融合的模型化深度展开方法。我们的做法基于包含经典 MS/HS 数据观测模型、基于 PAN 图像的高频注入约束以及任意凸先验的变分表述。在展开阶段，我们引入基于 PAN 图像中编码的几何信息的上采样和下采样层，采用残差网络。我们方法的骨架是一个多头注意力残差网络 (MARNet)，它取代了优化方案中的最近似算子，并结合多个头注意力和残差学习来通过以 patch 形式定义的非局部算子来挖掘图像自相似性。此外，我们还采用 MARNet 架构引入后处理模块，以进一步提高融合图像的质量。在 PRISMA、Quickbird 和 WorldView2 数据集上的实验结果表明，我们的方法在性能和跨不同传感器配置以及不同空间和光谱分辨率的泛化能力方面均优于现有方法。源代码将在 https://github.com/TAMI-UIB/MARNet 上提供。
引用
@article{arxiv.2409.02675,
title = {Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening},
author = {Ivan Pereira-Sánchez and Eloi Sans and Julia Navarro and Joan Duran},
journal= {arXiv preprint arXiv:2409.02675},
year = {2024}
}