使用卷积与上下文 Transformer 的光谱压缩成像重建
图像与视频处理
2023-07-04 v4 计算机视觉与模式识别
摘要
光谱压缩成像（SCI）能够将高维高光谱图像编码为二维测量值，随后利用算法重建时空-光谱数据立方体。目前 SCI 的主要瓶颈在于重建算法，现有最优（SOTA）重建方法普遍面临重建时间长和/或细节恢复差的问题。本文提出一种新颖的混合网络模块，即 CCoT（卷积与上下文 Transformer）块，其可同时获取卷积的归纳偏置能力与 transformer 的强大建模能力，有助于提升重建质量以恢复精细细节。我们将所提 CCoT 块集成到基于广义交替投影算法的深度展开框架中，进一步提出 GAP-CCoT 网络。通过大量合成与真实数据实验，相比现有 SOTA 算法，我们所提模型以显著优势实现了更高的重建质量（在模拟基准数据集上 PSNR 提升 >2dB）与更短的运行时间。代码与模型已公开于 https://github.com/ucaswangls/GAP-CCoT。
引用
@article{arxiv.2201.05768,
title = {Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer},
author = {Lishun Wang and Zongliang Wu and Yong Zhong and Xin Yuan},
journal= {arXiv preprint arXiv:2201.05768},
year = {2023}
}