面向真实场景的基于语义嵌入的单RGB图像无监督光谱重建

本文研究从商用相机拍摄的单张RGB图像重建高光谱(HS)图像的问题，在训练过程中不使用成对的HS与RGB图像。为应对这一挑战，我们提出了一种轻量且端到端基于学习的新框架。具体而言，基于HS图像到RGB图像的内在成像退化模型，我们通过有效的无监督相机光谱响应函数估计，逐步扩散输入RGB图像与由恢复出的HS图像重投影得到的RGB图像之间的差异。为使学习过程无需成对真值HS图像作为监督，我们采用对抗学习方式，并通过一个简单而有效的$\mathcal{L}_1$梯度裁剪方案对其进行增强。此外，我们嵌入输入RGB图像的语义信息以局部正则化该无监督学习，期望使具有相同语义的像素具有一致的光谱特征。除在两个广泛使用的合成RGB图像HS图像重建数据集上进行定量实验外，我们还通过将真实RGB图像恢复出的HS图像应用于基于HS的视觉跟踪来评估我们的方法。大量结果表明，我们的方法显著优于最先进的(state-of-the-art, SOTA)无监督方法，并在某些设定下甚至超过最新的有监督方法。源代码已公开于 https://github.com/zbzhzhy/Unsupervised-Spectral-Reconstruction。