基于无监督混合分量作为辅助任务的材料感知网络——UnmixingSR
图像与视频处理
2024-07-10 v1 计算机视觉与模式识别
摘要
深度学习（DL）基的高光谱图像（HIS）超分辨率（SR）方法在工业和学术界取得了显著的性能，引起了广泛关注。然而，大多数当前方法仅探索LR与HR HSI之间的映射关系，导致解决该难题的不可逆SR问题的可靠性和合理性下降。我们发现，LR成像类似于混合像现象。单个光电探测器接收由多个类别反射信号组成的信号，导致低空间分辨率和混合像问题。针对这一观察，本文提出一种称为UnmixingSR的分量感知HSI SR网络，其中将无监督混合成分（HU）作为辅助任务用于感知HSIs的材料成分。我们将HU作为辅助任务，通过探索LR与HR丰度之间的约束，将其整合到HSI SR过程中。与仅学习LR与HR HSI之间的映射关系不同，我们利用LR丰度与HR丰度之间的联系，以提高解决SR问题的稳定性。此外，所提出的混合过程可以嵌入现有的深度SR模型作为即插即用辅助任务。实验结果表明，将混合过程作为辅助任务整合到SR问题中是可行且合理的，实现了卓越的性能。代码已公开。
引用
@article{arxiv.2407.06525,
title = {UnmixingSR: Material-aware Network with Unsupervised Unmixing as Auxiliary Task for Hyperspectral Image Super-resolution},
author = {Yang Yu},
journal= {arXiv preprint arXiv:2407.06525},
year = {2024}
}