基于隐式神经表示的RGB图像连续光谱重建
计算机视觉与模式识别
2022-09-01 v2
摘要
现有的光谱重建方法通常学习从RGB图像到若干光谱波段的离散映射。然而，这种建模策略忽略了光谱特征的连续性。本文提出神经光谱重建（NeSR）以突破该局限，引入了一种新颖的连续光谱表示。为此，我们采纳隐式函数的概念，并用神经网络实现其参数化载体。具体而言，我们首先采用骨干网络提取RGB输入的空间特征。在此基础上，我们设计了光谱轮廓插值（SPI）模块与神经注意力映射（NAM）模块来丰富深层特征，其中引入了空间-光谱相关性以获得更好的表示。随后，我们将采样光谱波段的数量视为连续隐式函数的坐标，从而学习从深层特征到光谱强度的投影。大量实验表明，NeSR在重建精度上相较基线方法具有显著优势。此外，NeSR通过支持任意数量光谱波段作为目标输出，扩展了光谱重建的灵活性。
引用
@article{arxiv.2112.13003,
title = {Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation},
author = {Ruikang Xu and Mingde Yao and Chang Chen and Lizhi Wang and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2112.13003},
year = {2022}
}
备注
Accepted to ECCV Workshop 2022