利用大规模预训练空间-谱先验实现通用零样图 pansharpening
计算机视觉与模式识别
2025-12-03 v1
摘要
现有的深度学习遥感图像融合方法在应用到未见数据集时常因真实训练数据的稀缺和不同卫星传感器之间的领域差距而表现不佳。为此，我们探索利用基础模型的潜力，提出一种新颖的预训练策略，利用大规模模拟数据集学习鲁棒的空间-谱先验。具体而言，我们首先通过多种退化操作（模糊、噪声、下采样）和数据增强（生成不同波段、通道随机化、高通滤波、颜色抖动等）应用于来自ImageNet的自然图像和来自SkyScript的遥感图像，构建多样化的模拟数据集。随后在这些模拟数据上预训练融合模型，以学习通用的空间-谱表征。预训练模型随后在六个数据集（WorldView-2/3/4、IKONOS、QuickBird、GaoFen-2）上进行零样图和一阶测试，分别采用全参数微调和冻结微调两种方式。针对卷积神经网络、Transformer和Mamba等不同网络架构进行大量实验，表明我们的预训练策略在不同卫星传感器和 imaging 条件下显著提升了各种融合模型的泛化性能。预训练模型在零样图场景下取得优异结果，在一阶设置下展现出对少量真实数据的快速适应能力。我们的工作为跨域的 pansharpening 提供了实用方案，建立了遥感图像融合任务泛化性的新基准，为通过先进训练策略利用基础模型铺平了道路。
引用
@article{arxiv.2512.02643,
title = {Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening},
author = {Yongchuan Cui and Peng Liu and Yi Zeng},
journal= {arXiv preprint arXiv:2512.02643},
year = {2025}
}