用于视频快照压缩成像的即插即用算法

我们考虑视频快照压缩成像（SCI）的重建问题，其使用低速 2D 传感器（探测器）捕获高速视频。SCI 的基本原理是用不同掩模调制连续的高速帧，然后这些编码帧在传感器上积分成一次快照，因此传感器可以是低速的。一方面，视频 SCI 具有低带宽、低功耗和低成本的优点。另一方面，将 SCI 应用于日常生活中的大规模问题（HD 或 UHD 视频）仍然具有挑战性，其瓶颈之一在于重建算法。现有算法要么太慢（迭代优化算法），要么对编码过程不够灵活（基于深度学习的端到端网络）。在本文中，我们基于即插即用（PnP）框架开发了用于 SCI 的快速且灵活的算法。除 PnP-ADMM 方法外，我们进一步提出了计算量更低的 PnP-GAP（广义交替投影）算法。我们首先采用图像深度去噪先验表明 PnP 可以从一次快照测量中恢复具有 30 帧的 UHD 彩色视频。由于视频具有强时间相关性，通过采用视频深度去噪先验，我们在结果上实现了显著改进。此外，我们将所提出的 PnP 算法扩展到使用马赛克传感器的彩色 SCI 系统，其中每个像素仅捕获红、绿或蓝通道。我们开发了一种联合重建与去马赛克范式，用于彩色视频 SCI 系统的灵活且高质量的重建。在仿真和真实数据集上的大量结果验证了我们所提算法的优越性。