MLP-AMDC：一种基于自适应掩模双摄像机的快照式高光谱成像 MLP 架构
图像与视频处理
2023-10-13 v1 计算机视觉与模式识别
摘要
编码孔径快照光谱成像（CASSI）系统在动态获取高光谱图像（HSI）方面相较传统方法具有显著优势，但存在以下问题。1）传统掩模依赖随机图案或解析设计，二者均限制了 CASSI 的性能提升。2）现有高质量重建算法重建速度慢，且只能离线重建场景信息。针对上述两个问题，本文设计了 AMDC-CASSI 系统，引入基于自适应掩模的 CASSI 与 RGB 摄像机作为多模态输入以提升重建质量。现有 SOTA 重建方案基于 transformer，但自注意力操作拉低了网络的运行效率。为提升重建网络的推理速度，本文提出一种基于自适应掩模双摄像机（MLP-AMDC）的 MLP 架构来替代网络的 transformer 结构。大量实验表明，在 HSI 重建方面 MLP 表现不逊于基于 transformer 的结构，同时 MLP 大幅提升了网络推理速度，且参数量和运算量更少；我们的方法相较 SOTA 有 8 dB 的提升，且重建速度至少提升 5 倍。（https://github.com/caizeyu1992/MLP-AMDC。）
引用
@article{arxiv.2310.08002,
title = {MLP-AMDC: An MLP Architecture for Adaptive-Mask-based Dual-Camera snapshot hyperspectral imaging},
author = {Zeyu Cai and Can Zhang and Xunhao Chen and Shanghuan Liu and Chengqian Jin and Feipeng Da},
journal= {arXiv preprint arXiv:2310.08002},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2308.01541