SST-ReversibleNet：基于可逆先验的光谱-空间Transformer用于高效高光谱图像重建
图像与视频处理
2023-05-09 v1 计算机视觉与模式识别
摘要
光谱图像重建是快照压缩成像中的一项重要任务。本文旨在提出一种具有类似深度展开网络的迭代能力的新端到端框架，以在独立于优化条件的情况下提高重建精度，并减少参数量。提出了一种称为基于可逆先验方法的新框架。受光路可逆性的启发，该基于可逆先验的框架将重建结果投影回测量空间，然后将投影数据与真实测量之间的残差送入网络进行迭代。网络中的重建子网络随后学习残差到真值的映射以提高重建精度。此外，针对现有基于Transformer的去噪模块忽略空间纹理特征或以牺牲全局空间特征为代价学习局部空间特征的不足，提出了一种新颖的光谱-空间Transformer，以兼顾光谱数据在空间与光谱维度上的全局相关性，同时平衡网络深度与计算复杂度。大量实验表明，我们的SST-ReversibleNet在模拟和真实HSI数据集上显著优于最先进的方法，同时需要更低的计算与存储成本。https://github.com/caizeyu1992/SST
引用
@article{arxiv.2305.04054,
title = {SST-ReversibleNet: Reversible-prior-based Spectral-Spatial Transformer for Efficient Hyperspectral Image Reconstruction},
author = {Zeyu Cai and Jian Yu and Ziyu Zhang and Chengqian Jin and Feipeng Da},
journal= {arXiv preprint arXiv:2305.04054},
year = {2023}
}
备注
10 pages, 9 figures. arXiv admin note: text overlap with arXiv:2111.07910 by other authors