SWIFT：面向快速传感器- pansharpening 的通用灵敏权重识别框架
计算机视觉与模式识别
2025-07-29 v1
摘要
Pansharpening 旨在将高分辨率平坎(PAN)图像与低分辨率多光谱(LRMS)图像融合，以生成高分辨率多光谱(HRMS)图像。尽管深度学习方法已取得显著成果，但这些方法通常在应用于来自未见传感器的数据时会出现严重性能下降。通过全规模重新训练或设计更复杂的体系结构来适配这些模型常常在实际部署中昂贵且不切实际。为解决这一关键挑战，我们提出了一个快速且通用的面向跨传感器适配的框架，SWIFT（Sensitive Weight Identification for Fast Transfer）。具体而言，SWIFT 基于数据流形结构的无监督抽样策略平衡样本选择，同时减轻传统最远点抽样(Farthest Point Sampling)的偏见，高效地从目标域中仅选择最具信息性的 3% 样本。该子集随后用于探测源域预训练模型的梯度行为，从而快速识别并更新最灵敏于域迁移的权重子集。作为一个即插即用框架，SWIFT 可应用于 various 现有 pansharpening 模型。广泛的实验表明，SWIFT 将适配时间从数小时缩短到大约一分钟，仅需单个 NVIDIA RTX 4090 GPU。适配后的模型不仅显著优于直接迁移的基线模型，而且在某些情况下还与完全重新训练的性能相当或更好，为 WorldView-2 和 QuickBird 数据集上的跨传感器 pansharpening 任务建立了新的最佳性能。
引用
@article{arxiv.2507.20311,
title = {SWIFT: A General Sensitive Weight Identification Framework for Fast Sensor-Transfer Pansharpening},
author = {Zeyu Xia and Chenxi Sun and Tianyu Xin and Yubo Zeng and Haoyu Chen and Liang-Jian Deng},
journal= {arXiv preprint arXiv:2507.20311},
year = {2025}
}