面向实际场景的快速模型导向实例级适应框架——带保真约束的Pansharpening
计算机视觉与模式识别
2026-04-13 v1
摘要
Pansharpening旨在融合低分辨率多光谱(LRMS)和高分辨率色差(PAN)图像，以生成高分辨率多光谱(HRMS)图像，同时保持光谱和空间信息。尽管深度学习(DL)基于Pansharpening的方法取得了显著性能，但需要高训练成本和大规模数据集，并且在测试分布与训练分布不同时常会出现性能下降，限制了其泛化能力。最近的零样本方法在单个PAN/LRMS对上训练，提供了强大的泛化性，但 suffer于融合质量有限、计算开销大以及收敛慢。为此，我们提出了FMG-Pan，一个快速且通用的模型导向实例级适应框架，用于实际Pansharpening，实现了跨传感器的通用性和快速训练推理。该框架利用预训练模型通过联合优化带有光谱和物理保真约束的轻量级自适应网络进行引导。我们进一步设计了一种新颖的物理保真项，以增强空间细节的保持。在实际数据集上进行大量实验，分别在内部和跨传感器设置下均表现出领先性能。在RTX 3090 GPU上，FMG-Pan在512x512x8图像上完成训练和推理所需时间仅为3秒，显著快于现有零样本方法，使其适用于实际部署。
关键词
引用
@article{arxiv.2604.08903,
title = {Fast Model-guided Instance-wise Adaptation Framework for Real-world Pansharpening with Fidelity Constraints},
author = {Zhiqi Yang and Jin-Liang Xiao and Shan Yin and Liang-Jian Deng and Gemine Vivone},
journal= {arXiv preprint arXiv:2604.08903},
year = {2026}
}