HDNet：用于光谱压缩成像的高分辨率双域学习
图像与视频处理
2022-06-17 v2 计算机视觉与模式识别
摘要
深度学习的快速发展为高光谱图像（HSI）的端到端重建提供了更优解。然而，现有基于学习的方法存在两大缺陷。其一，采用自注意力的网络通常牺牲内部分辨率以平衡模型性能与复杂度，丢失细粒度高分辨率（HR）特征。其二，即便聚焦于空间-光谱域学习（SDL）的优化收敛至理想解，重建 HSI 与真值间仍存在显著视觉差异。为此，我们提出一种用于 HSI 重建的高分辨率双域学习网络（HDNet）。一方面，所提 HR 空间-光谱注意力模块及其高效特征融合提供了连续而精细的像素级特征。另一方面，引入频域学习（FDL）用于 HSI 重建以缩小频域差异。动态 FDL 监督迫使模型重建细粒度频率并补偿由像素级损失导致的过度平滑与失真。我们 HDNet 中的 HR 像素级注意力与频率级细化相互促进 HSI 感知质量。大量定量与定性评估实验表明，我们的方法在仿真与真实 HSI 数据集上取得了 SOTA 性能。代码与模型将发布于 https://github.com/caiyuanhao1998/MST
引用
@article{arxiv.2203.02149,
title = {HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging},
author = {Xiaowan Hu and Yuanhao Cai and Jing Lin and Haoqian Wang and Xin Yuan and Yulun Zhang and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2203.02149},
year = {2022}
}
备注
CVPR 2022