用于光谱压缩成像的退化感知展开半洗牌 Transformer
图像与视频处理
2022-10-18 v3 计算机视觉与模式识别
摘要
在编码孔径快照光谱压缩成像（CASSI）系统中，采用高光谱图像（HSI）重建方法从压缩测量中恢复空间-光谱信号。在这些算法中，深度展开方法展现出良好性能但存在两个问题。首先，它们未从高度相关的 CASSI 中估计退化模式与病态程度以引导迭代学习。其次，它们主要基于 CNN，在捕获长程依赖上显现局限。在本文中，我们提出了一个有原则的退化感知展开框架（DAUF），其从压缩图像与物理掩膜中估计参数，随后用这些参数控制每次迭代。此外，我们定制了一种新颖的半洗牌 Transformer（HST），可同时捕获局部内容与全局依赖。通过将 HST 插入 DAUF，我们建立了首个基于 Transformer 的深度展开方法——退化感知展开半洗牌 Transformer（DAUHST），用于 HSI 重建。实验表明 DAUHST 显著超越最先进方法，同时所需计算与内存开销更低。代码与模型将于 https://github.com/caiyuanhao1998/MST 发布。
引用
@article{arxiv.2205.10102,
title = {Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging},
author = {Yuanhao Cai and Jing Lin and Haoqian Wang and Xin Yuan and Henghui Ding and Yulun Zhang and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2205.10102},
year = {2022}
}
备注
NeurIPS 2022; The first Transformer-based deep unfolding method for spectral compressive imaging