用于高光谱图像重建的像素自适应深度展开Transformer
计算机视觉与模式识别
2023-09-25 v2 图像与视频处理
摘要
高光谱图像（HSI）重建借助深度展开框架将数据模块与先验模块公式化，已取得可喜进展。然而，现有方法仍面临与HSI数据匹配不足的问题，体现在三方面：1）数据模块中固定梯度下降步长，而HSI的退化在像素级未知；2）针对3D HSI立方体的先验模块不足；3）阶段交互忽略不同阶段的特性差异。为解决这些问题，本文提出一种用于HSI重建的像素自适应深度展开Transformer（PADUT）。在数据模块中，采用像素自适应下降步长以关注像素级未知退化。在先验模块中，引入非局部光谱Transformer（NST）以强调HSI的3D特性用于恢复。此外，受不同阶与深度下特征多样表达的启发，利用快速傅里叶变换（FFT）改进阶段交互。在仿真与真实场景上的实验结果表明，相较最先进的HSI重建方法，本方法性能更优。代码发布于：https://github.com/MyuLi/PADUT。
引用
@article{arxiv.2308.10820,
title = {Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction},
author = {Miaoyu Li and Ying Fu and Ji Liu and Yulun Zhang},
journal= {arXiv preprint arXiv:2308.10820},
year = {2023}
}
备注
ICCV 2023