结合相机光谱灵敏度先验的自适应加权注意力网络用于从 RGB 图像进行光谱重建
图像与视频处理
2020-05-20 v1 计算机视觉与模式识别
摘要
近期光谱重建（SR）方面可喜的努力集中于通过使用更深更宽的卷积神经网络（CNNs）学习复杂的映射。然而，大多数基于 CNN 的 SR 算法忽视探索相机光谱灵敏度（CSS）先验与中间特征间的相互依赖，从而限制了网络的表示能力与 SR 性能。为克服这些问题，我们提出一种用于 SR 的新型自适应加权注意力网络（AWAN），其主干由多个双残差注意力块（DRAB）堆叠而成，并饰以长短跳跃连接以形成双残差学习。具体而言，我们研究一种自适应加权通道注意力（AWCA）模块，通过整合通道间相关性来重分配通道级特征响应。此外，开发了一个块级二阶非局部（PSNL）模块，通过二阶非局部操作捕获长程空间上下文信息以获得更强大的特征表示。基于恢复出的 RGB 图像可由重建的高光谱图像（HSI）与给定 CSS 函数投影得到这一事实，我们将 RGB 图像与 HSI 的差异作为更精细约束以求得更精确的重建。实验结果证明了我们所提 AWAN 网络在其他最先进 SR 方法的定量比较与感知质量方面的有效性。在 NTIRE 2020 光谱重建挑战赛中，我们的提交在 Clean 赛道获得第 1 名，在 Real World 赛道获得第 3 名。代码见 https://github.com/Deep-imagelab/AWAN。
引用
@article{arxiv.2005.09305,
title = {AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images},
author = {Jiaojiao Li and Chaoxiong Wu and Rui Song and Yunsong Li and Fei Liu},
journal= {arXiv preprint arXiv:2005.09305},
year = {2020}
}
备注
The 1st ranking on the Clean track and the 3rd place only 1.59106e-4 more than the 1st on the Real World track of the NTIRE 2020 Spectral Reconstruction Challenge