PanAdapter：一种注入空间-频谱先验的双阶段 pansharpening 微调方法
计算机视觉与模式识别
2024-09-12 v1
摘要
Pansharpening 是一种具有挑战性的图像融合任务，涉及使用两种不同模态的数据：低分辨率多光谱图像（LRMS）和高分辨率色差图像（PAN）。虽然已提出许多基于深度学习（DL）的端到端专用模型，但这些模型的规模和性能受限于数据集的大小。鉴于预训练模型在参数规模和特征表示方面的优势，它们在迁移到小数据集的下游任务时表现出色。因此，我们提出一种高效微调方法，即 PanAdapter，利用预训练模型提供的额外高级语义信息，以缓解 Pansharpening 任务中小规模数据集的问题。具体而言，针对图像修复与 Pansharpening 任务之间的较大领域差异，PanAdapter 采用双阶段训练策略，以逐步适应下游任务。在第一个阶段，我们对预训练 CNN 模型进行微调，并通过提出的局部先验提取（LPE）模块在两个尺度上提取任务特定的先验。在第二个阶段，我们将提取的双尺度先验分别输入到级联适配器的两个分支中。在每个适配器中，我们设计两个参数高效模块，以允许两个分支相互交互并注入到冻结的预训练 VisionTransformer（ViT）模块中。我们展示，通过仅训练提出的 LPE 模块和适配器，所需参数数量少，却能从预训练图像修复模型中获益，并在多个基准 Pansharpening 数据集上实现最先进的性能。代码将很快公开。
引用
@article{arxiv.2409.06980,
title = {PanAdapter: Two-Stage Fine-Tuning with Spatial-Spectral Priors Injecting for Pansharpening},
author = {RuoCheng Wu and ZiEn Zhang and ShangQi Deng and YuLe Duan and LiangJian Deng},
journal= {arXiv preprint arXiv:2409.06980},
year = {2024}
}