EigenSR：基于特征图像桥接的单光谱图像超分辨率学习者
图像与视频处理
2024-12-31 v2 计算机视觉与模式识别
摘要
单光谱图像超分辨率 (single-HSI-SR) 旨在提高单输入低分辨率 HSI 的分辨率。由于数据稀缺的瓶颈，单-HSI-SR 的发展远远落后于 RGB 自然图像。近年来，针对 RGB 超分辨率的研究表明，预训练于大规模基准数据集的模型可大幅提升对未见数据的性能，这可能为 HSI 提供了解决方案。但如何将预训练的 RGB 模型迁移到 HSI 以克服数据稀缺瓶颈？由于预训练 RGB 模型与 HSI 通道数差异大，模型无法专注于沿谱维度的相关性，从而限制了其在 HSI 上的利用能力。灵感来自 HSI 的空间-谱解耦，我们提出了一种新框架：首先以已知的空间成分（称为特征图像）对预训练模型进行微调，然后通过迭代谱正则化 (ISR) 在未见 HSI 上推断，以保持谱相关性。我们方法的优势在于：1)有效注入预训练 RGB 模型的空间纹理处理能力于 HSI 同时保持谱保真度，2)在谱去相关域上的学习可提高对谱中性数据的通用性，3)在特征图像域上的推断自然地利用 HSI 的谱低秩特性，从而降低复杂度。本工作通过特征图像桥接 HSI 之间的预训练 RGB 模型，解决 HSI 训练数据有限的问题，故命名为 EigenSR。广泛实验表明，EigenSR 在空间和谱指标上均优于最先进 (SOTA) 方法。
引用
@article{arxiv.2409.04050,
title = {EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution},
author = {Xi Su and Xiangfei Shen and Mingyang Wan and Jing Nie and Lihui Chen and Haijun Liu and Xichuan Zhou},
journal= {arXiv preprint arXiv:2409.04050},
year = {2024}
}
备注
AAAI 2025 conference paper