中文

面向热光谱分布正则化的 Contourlet 精细化门控红外图像超分辨率框架

计算机视觉与模式识别 2024-11-20 v1

摘要

图像超分辨率是一个经典且仍活跃的低级视觉问题,旨在从低分辨率图像重建高分辨率图像,是图像增强的关键技术。当前解决 SR 任务的方法,如基于 Transformer 和基于扩散的方法,要么专门提取 RGB 图像特征,要么假设相似的退化模式,忽略了红外与可见光图像之间固有的模态差异。将这些方法直接应用于红外图像 SR 任务时,不可避免地会扭曲红外光谱分布,从而损害下游任务中的机器感知。在本工作中,我们强调红外光谱分布保真度,并提出一个 Contourlet 精细化门控框架,以在保持光谱分布保真度的同时恢复红外模态特定特征。该方法从多尺度和多方向红外光谱分解中捕获高通子带,通过门控架构恢复红外退化信息。所提出的 Spectral Fidelity Loss 在重建过程中对光谱频率分布进行正则化,确保高频和低频分量的保留,并维持红外特定特征的保真度。我们提出一种两阶段 prompt-learning 优化,以引导模型从 LR 退化中学习红外 HR 特征。大量实验表明,我们的方法在视觉和感知任务中均优于现有图像 SR 模型,同时显著增强了下游任务中的机器感知。我们的代码可在 https://github.com/hey-it-s-me/CoRPLE 获取。

关键词

引用

@article{arxiv.2411.12530,
  title  = {Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution},
  author = {Yang Zou and Zhixin Chen and Zhipeng Zhang and Xingyuan Li and Long Ma and Jinyuan Liu and Peng Wang and Yanning Zhang},
  journal= {arXiv preprint arXiv:2411.12530},
  year   = {2024}
}

备注

13 figures, 6 tables