CAT：一种用于实�数据中高效且有效的实例特定 Pansharpening 的条件适配调节器
计算机视觉与模式识别
2025-06-13 v2
摘要
Pansharpening 是一种关键的遥感技术，用于将低分辨率多光谱（LRMS）图像与高分辨率单光谱（PAN）图像融合以生成高分辨率多光谱（HRMS）图像。尽管深度学习技术已显著推动 Pansharpening 领域发展，但许多现有方法仍受限于跨传感器泛化能力有限和计算开销高，限制了其实时应用。为此，我们提出了一个高效框架，能够快速适应特定输入实例，在短时间内完成训练和推理。我们的框架将输入图像分割为多个小块，选取子集进行无监督 CAT 训练，然后对所有小块进行推理，拼接成最终输出。CAT 模块集成在预训练网络的特征提取和通道转换阶段之间，为高效推理定制融合特征并固定参数，生成改进结果。我们的方法具有两个关键优势：(1) 提升泛化能力：通过缓解跨传感器降解，我们的模型虽在特定数据集上预训练，却在其他传感器捕获的数据集上实现卓越性能；(2) 增强计算效率：CAT 增强网络无需大规模数据再训练，即可使用单个 LRMS-PAN 对快速适应测试样本。实验在来自 WorldView-3 和 WorldView-2 数据集的真实数据上表明，我们的方法在跨传感器真实数据上实现了最先进的性能，在 RTX 3090 GPU 上，最快设置下 512×512 图像训练和推理耗时 ，4000×4000 图像训练和推理耗时 。
引用
@article{arxiv.2504.10242,
title = {CAT: A Conditional Adaptation Tailor for Efficient and Effective Instance-Specific Pansharpening on Real-World Data},
author = {Tianyu Xin and Jin-Liang Xiao and Zeyu Xia and Shan Yin and Liang-Jian Deng},
journal= {arXiv preprint arXiv:2504.10242},
year = {2025}
}