降解炼金术：基于自监督未知到已知转换的盲波段图像融合
图像与视频处理
2025-03-20 v1 计算机视觉与模式识别
摘要
波段图像 (HSI) 融合是一种高效技术,用于将低分辨率 HSI (LR-HSI) 与高分辨率多光谱图像 (HR-MSI) 融合以生成高分辨率 HSI (HR-HSI).现有监督学习方法 (SLM) 在测试数据退化情况匹配训练时可取得优异结果,但面临泛化到未知退化的挑战.为释放 SLM 的潜能和泛化能力,我们提出了一种新型自监督未知到已知退化转换框架 (U2K) 用于盲波段图像融合,该框架自适应地将未知退化转换为预训练 SLM 处理的相同类型退化.具体而言,提出的 U2K 框架包括: (1) 空间和光谱 Degradation 包装 (DW) 模块,将 HR-HSI 映射到未知退化的 HR-MSI 和 LR-HSI;以及 (2) Degradation 转换 (DT) 模块,将这些包装数据转换为预定义的退化模式.随后,转换后的 HR-MSI 和 LR-HSI 配对可供预训练网络处理以重建目标 HR-HSI.我们使用一致性损失和贪心交替优化训练 U2K 框架,显著提高了盲波段图像融合的灵活性.大量实验确认了我们提出的 U2K 框架在提升五个现有 SLM 在各种退化设置下的适应性方面的有效性,并超越了最先进的盲方法.
引用
@article{arxiv.2503.14892,
title = {Degradation Alchemy: Self-Supervised Unknown-to-Known Transformation for Blind Hyperspectral Image Fusion},
author = {He Huang and Yong Chen and Yujun Guo and Wei He},
journal= {arXiv preprint arXiv:2503.14892},
year = {2025}
}