高光谱图像重建中的掩膜不确定性建模
图像与视频处理
2022-09-27 v4 计算机视觉与模式识别
机器学习
摘要
近年来，高光谱成像（HSI）尤其是基于编码孔径快照光谱成像（CASSI）系统的方案引起了越来越多的研究关注。现有的深度 HSI 重建模型通常在配对数据上训练，以根据 CASSI 中特定光学硬件掩膜给出的二维压缩测量恢复原始信号；在此过程中，掩膜在很大程度上影响重建性能，并可作为控制数据增强的“模型超参数”。这种特定于掩膜的训练方式会导致硬件失校准问题，给深度 HSI 模型在不同硬件和噪声环境中的部署带来障碍。为应对该挑战，我们为 HSI 引入掩膜不确定性，给出完整的变分贝叶斯学习处理，并通过受真实硬件启发的掩膜分解对其显式建模。具体而言，我们提出一种新颖的基于图的自主调优（GST）网络，以推理适应不同硬件间掩膜空间结构变化的不确定性。此外，我们开发了双层优化框架来平衡 HSI 重建与不确定性估计，从而考量掩膜的超参数特性。大量实验结果和模型讨论验证了所提 GST 方法在两种失校准场景下（超过 33/30 dB）的有效性，并展现出与最先进的已校准方法相比极具竞争力的性能。我们的代码和预训练模型可在 https://github.com/Jiamian-Wang/mask_uncertainty_spectral_SCI 获取。
引用
@article{arxiv.2112.15362,
title = {Modeling Mask Uncertainty in Hyperspectral Image Reconstruction},
author = {Jiamian Wang and Yulun Zhang and Xin Yuan and Ziyi Meng and Zhiqiang Tao},
journal= {arXiv preprint arXiv:2112.15362},
year = {2022}
}
备注
ECCV 2022 Oral Paper