基于训练超表面编码器的硬件实时高光谱成像
计算机视觉与模式识别
2022-04-06 v1 图像与视频处理
摘要
高光谱成像因可识别光谱特征以用于计算机视觉中的图像分类与自动模式识别而备受关注。最先进的快照高光谱成像实现依赖于笨重、非集成且昂贵的光学元件,包括透镜、光谱仪和滤光片。这些宏观组件无法实现快速数据处理,例如实时和高分辨率视频。本工作提出 Hyplex,一种解决上述局限的新型集成架构。Hyplex 是一种 CMOS 兼容的快速高光谱相机,用通过人工智能逆向设计的纳米级超表面替代体光学。Hyplex 不需要光谱仪,而是使用常规单色相机,为以低廉成本实现实时和高分辨率高光谱成像提供了可能。Hyplex 利用模型驱动优化,将物理超表面层与基于端到端训练的现代表视觉计算方法相连接。我们设计并实现了 Hyplex 的原型版本,并将其性能与最先进方法在光谱重建和语义分割等典型成像任务上进行比较。在所有基准测试中,Hyplex 均报告了最小的重建误差。我们还展示了据我们所知最大的公开可用语义分割标记高光谱数据集。
引用
@article{arxiv.2204.02084,
title = {Real-time Hyperspectral Imaging in Hardware via Trained Metasurface Encoders},
author = {Maksim Makarenko and Arturo Burguete-Lopez and Qizhou Wang and Fedor Getman and Silvio Giancola and Bernard Ghanem and Andrea Fratalocchi},
journal= {arXiv preprint arXiv:2204.02084},
year = {2022}
}