面向视频快照压缩成像的深度光学
计算机视觉与模式识别
2024-04-09 v1
摘要
视频快照压缩成像（SCI）旨在仅通过二维探测器的单次拍摄来捕获一系列视频帧，其核心在于光学调制模式（也称为掩码）和计算重建算法。先进的深度学习算法和成熟的硬件正将视频 SCI 推向实际应用。然而，SCI 的晴空中有两朵乌云：i）作为高时间复用的受害者，动态范围低；ii）现有的深度学习算法在真实系统上性能退化。为了应对这些挑战，本文提出了一个深度光学框架来联合优化掩码和重建网络。具体而言，我们首先提出了一种新型结构掩码，以实现运动感知和全动态范围测量。考虑到测量域中的运动感知特性，我们开发了一个用于视频 SCI 重建的高效网络，使用 Transformer 捕获长期时间依赖性，称为 Res2former。此外，将传感器响应引入视频 SCI 的前向模型中，以保证端到端模型训练接近真实系统。最后，我们在数字微镜器件上实现了所学习的结构掩码。在合成和真实数据上的实验结果验证了所提出框架的有效性。我们相信这是现实世界视频 SCI 的一个里程碑。源代码和数据可在 https://github.com/pwangcs/DeepOpticsSCI 获取。
引用
@article{arxiv.2404.05274,
title = {Deep Optics for Video Snapshot Compressive Imaging},
author = {Ping Wang and Lishun Wang and Xin Yuan},
journal= {arXiv preprint arXiv:2404.05274},
year = {2024}
}
备注
Accepted at ICCV 2023