PromptHSI：基于视觉语言调制频率适应的通用高光谱图像恢复框架
图像与视频处理
2025-03-12 v3 计算机视觉与模式识别
摘要
最近的全景RGB图像恢复研究表明，提示学习在处理单个模型中的多种退化情况方面效果显著。然而，将这些方法扩展到高光谱图像（HSI）恢复面临着RGB特征与HSI特征之间鸿沟、严重复合退化下视觉提示信息损失以及难以通过文本提示捕获HSI特定退化模式等挑战。本文提出了PromptHSI，这是第一个解决这些挑战的全能型HSI恢复框架。通过引入频率感知特征调制，该方法利用频率分析缩小恢复搜索空间，并采用视觉语言模型（VLM）指导的提示学习，将文本提示分解为强度和偏置控制器，有效引导恢复过程并缓解领域差异。广泛的实验表明，我们的统一架构在 diverse 恢复场景中在细粒度恢复和全局信息恢复方面都表现出色，凸显了其在实际遥感应用中的巨大潜力。源代码可在 https://github.com/chingheng0808/PromptHSI 查看。
引用
@article{arxiv.2411.15922,
title = {PromptHSI: Universal Hyperspectral Image Restoration with Vision-Language Modulated Frequency Adaptation},
author = {Chia-Ming Lee and Ching-Heng Cheng and Yu-Fan Lin and Yi-Ching Cheng and Wo-Ting Liao and Fu-En Yang and Yu-Chiang Frank Wang and Chih-Chung Hsu},
journal= {arXiv preprint arXiv:2411.15922},
year = {2025}
}
备注
Project page: https://chingheng0808.github.io/prompthsiP/static.html