解耦-耦合网络：基于亚像素融合的自监督高光谱图像超分辨率
图像与视频处理
2022-05-10 v1 计算机视觉与模式识别
摘要
近来，借助高空间分辨率多光谱（MS）图像来超分辨高光谱（HS）图像的努力层出不穷。多数已有工作通常利用多样的像素级先验来执行融合任务。然而，由于空间与光谱分辨率差异导致的 HS-MS 数据间巨大分布鸿沟的内在影响却少有探究。该鸿沟可能由未知的传感器特有属性或单像素内高度混合的光谱信息（因低空间分辨率所致）引起。为此，我们提出一种亚像素级 HS 超分辨率框架，通过设计一种新颖的解耦-耦合网络（称为 DC-Net），从像素到亚像素、从图像到特征级逐步融合 HS-MS 信息。顾名思义，DC-Net 首先将输入解耦为公共（或跨传感器）与传感器特有分量，以消除 HS-MS 图像间的鸿沟后再进一步融合，随后通过模型引导的耦合光谱解混（CSU）网络将其充分混合。更重要的是，我们在 CSU 网络之后附加一个自监督学习模块，通过保证材料一致性来增强复原 HS 产品的细节表现。大量实验结果表明，我们的方法在视觉与定量上均具优越性，并相较现有最优方法取得显著改进。此外，为可复现起见，代码与数据集将发布于 https://sites.google.com/view/danfeng-hong。
引用
@article{arxiv.2205.03742,
title = {Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion},
author = {Danfeng Hong and Jing Yao and Deyu Meng and Naoto Yokoya and Jocelyn Chanussot},
journal= {arXiv preprint arXiv:2205.03742},
year = {2022}
}