MST++：用于高效光谱重建的多阶段谱向 Transformer
计算机视觉与模式识别
2022-04-19 v1
摘要
现有的光谱重建（SR）领先方法侧重于设计更深或更宽的卷积神经网络（CNN）来学习从 RGB 图像到其高光谱图像（HSI）的端到端映射。这些基于 CNN 的方法取得了令人印象深刻的重建性能，但在捕获长程依赖和自相似先验方面存在局限。为应对该问题，我们提出一种基于 Transformer 的新方法——多阶段谱向 Transformer（MST++），用于高效光谱重建。具体而言，我们采用基于 HSI 空间稀疏而光谱自相似特性构建的谱向多头自注意力（S-MSA）作为基本单元，即谱向注意力块（SAB）。随后多个 SAB 构成利用 U 形结构提取多分辨率上下文信息的单阶段谱向 Transformer（SST）。最后，我们的 MST++ 由若干 SST 级联而成，从粗到细逐步提升重建质量。综合实验表明，我们的 MST++ 显著优于其他最先进方法。在 NTIRE 2022 光谱重建挑战赛中，我们的方法获得第一名。代码与预训练模型已公开于 https://github.com/caiyuanhao1998/MST-plus-plus。
引用
@article{arxiv.2204.07908,
title = {MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction},
author = {Yuanhao Cai and Jing Lin and Zudi Lin and Haoqian Wang and Yulun Zhang and Hanspeter Pfister and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2204.07908},
year = {2022}
}
备注
Winner of NTIRE 2022 Challenge on Spectral Reconstruction from RGB; The First Transformer-based Method for Spectral Reconstruction