MP-HSIR：用于通用高光谱图像恢复的多提示框架
计算机视觉与模式识别
2025-12-30 v3
摘要
高光谱图像 (Hyperspectral images, HSI) 在成像过程中常遭受多样且未知的退化，导致严重的光谱与空间失真。现有的 HSI 恢复方法通常依赖于特定的退化假设，限制了其在复杂场景中的有效性。在本文中，我们提出了 \textbf{MP-HSIR}，一种新颖的多提示框架，可有效集成光谱、文本和视觉提示，以在各种退化类型和强度下实现通用的 HSI 恢复。具体而言，我们开发了一个提示引导的空间-光谱 Transformer，它结合了空间自注意力和提示引导的双分支光谱自注意力。由于退化对光谱特征的影响各异，我们在局部光谱分支中引入光谱提示，以提供通用的低秩光谱模式作为先验知识，从而增强光谱重建。此外，文本-视觉协同提示将高层语义表示与细粒度视觉特征相融合以编码退化信息，进而引导恢复过程。在 9 项 HSI 恢复任务（包括 all-in-one 场景、泛化测试和真实世界案例）上的大量实验表明，MP-HSIR 不仅持续优于现有的 all-in-one 方法，而且在多个任务上超越了 state-of-the-art 的任务特定方法。代码和模型可在 https://github.com/ZhehuiWu/MP-HSIR 获取。
引用
@article{arxiv.2503.09131,
title = {MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration},
author = {Zhehui Wu and Yong Chen and Naoto Yokoya and Wei He},
journal= {arXiv preprint arXiv:2503.09131},
year = {2025}
}
备注
Accepted to the IEEE/CVF International Conference on Computer Vision (ICCV) 2025