D$^\text{2}$UF：用于压缩光谱图像融合的深度编码孔径设计与展开算法
图像与视频处理
2023-06-28 v1 机器学习
最优化与控制
摘要
压缩光谱成像（CSI）因采用合成孔径对空间和光谱信息进行编码、仅感知三维光谱图像的二维投影而备受关注。然而，受技术限制，这些光学架构在重建图像的空间与光谱分辨率之间存在权衡。为克服该问题，压缩光谱图像融合（CSIF）利用两种具有不同分辨率的 CSI 架构的投影测量来估计高空间高光谱分辨率图像。本工作融合低空间高光谱分辨率编码孔径快照光谱成像仪（CASSI）架构与高空间低光谱分辨率多光谱彩色滤光片阵列（MCFA）系统的压缩测量。与以往 CSIF 工作不同，本文以端到端（E2E）方式提出感知架构与重建网络的联合优化。可训练的光学参数为 CASSI 中的编码孔径（CA）和 MCFA 系统中的彩色编码孔径，采用 sigmoid 激活函数与正则化函数以促使可训练变量取二值以便于实现。此外，构建了受交替方向乘子法（ADMM）优化启发的基于展开的网络，以联合处理重建步骤与采集系统设计。最后，在每层展开网络末端采用空间-光谱启发损失函数以提升展开网络的收敛性。所提方法优于以往 CSIF 方法，实验结果利用真实测量数据验证了该方法。
引用
@article{arxiv.2205.12158,
title = {D$^\text{2}$UF: Deep Coded Aperture Design and Unrolling Algorithm for Compressive Spectral Image Fusion},
author = {Roman Jacome and Jorge Bacca and Henry Arguello},
journal= {arXiv preprint arXiv:2205.12158},
year = {2023}
}
备注
12 pages, 11 figures