DMDC：基于动态掩码的双相机设计用于快照式高光谱成像
图像与视频处理
2023-08-04 v1 计算机视觉与模式识别
摘要
深度学习方法在编码孔径快照光谱成像（CASSI）中快速发展。现有最先进方法（SOTA）的参数数量与 FLOPs 持续增加，但重建精度提升缓慢。当前方法仍面临两个问题：1）受固定掩码编码限制，空间光调制器（SLM）性能未充分发挥。2）单一输入限制了网络性能。本文提出一种基于动态掩码的双相机系统，由并行运行的 RGB 相机与 CASSI 系统组成。首先，系统基于 RGB 图像学习场景的空间特征分布，随后指导 SLM 对每一场景进行编码，最后将 RGB 与 CASSI 图像一并送入网络进行重建。我们进一步设计了 DMDC-net，其由两个独立网络组成：基于小规模 CNN 的动态掩码网络用于动态调节掩码，以及多模态重建网络用于利用 RGB 与 CASSI 测量进行重建。在多个数据集上的大量实验表明，我们的方法在 PSNR 上比 SOTA 提升超过 9 dB。（https://github.com/caizeyu1992/DMDC）
引用
@article{arxiv.2308.01541,
title = {DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging},
author = {Zeyu Cai and Chengqian Jin and Feipeng Da},
journal= {arXiv preprint arXiv:2308.01541},
year = {2023}
}
备注
11 pages, 7 figures