用于高效高光谱图像重建的掩模引导谱向 Transformer
图像与视频处理
2022-03-22 v2 计算机视觉与模式识别
摘要
高光谱图像（HSI）重建旨在从编码孔径快照光谱成像（CASSI）系统中的 2D 测量恢复 3D 空间-光谱信号。HSI 表示在光谱维度上高度相似且相关。对谱间相互作用建模有利于 HSI 重建。然而，现有的基于 CNN 的方法在捕获谱向相似性和长程依赖方面存在局限。此外，在 CASSI 中 HSI 信息受编码孔径（物理掩模）调制。尽管如此，当前算法尚未充分探索掩模对 HSI 恢复的引导作用。本文中，我们提出一种新框架，即掩模引导谱向 Transformer（MST），用于 HSI 重建。具体而言，我们提出谱向多头自注意力（S-MSA），将每个光谱特征视为一个 token 并沿光谱维度计算自注意力。此外，我们定制了掩模引导机制（MM），引导 S-MSA 关注具有高保真光谱表示的空间区域。大量实验表明，我们的 MST 在仿真和真实 HSI 数据集上显著优于最先进（SOTA）方法，同时所需的计算与内存成本大幅降低。代码与预训练模型见 https://github.com/caiyuanhao1998/MST/
引用
@article{arxiv.2111.07910,
title = {Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction},
author = {Yuanhao Cai and Jing Lin and Xiaowan Hu and Haoqian Wang and Xin Yuan and Yulun Zhang and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2111.07910},
year = {2022}
}
备注
CVPR 2022; The first Transformer-based method for snapshot compressive imaging