基于运动流模型的空间复用相机视频压缩感知

空间复用相机（SMCs）通过一系列编码投影获取（通常为静态的）场景，使用空间光调制器（例如数字微镜器件 (DMD)）和少量光学传感器。该方法用于成像应用，其中全帧传感器要么过于昂贵（例如短波红外波长）要么不可用。现有SMC系统使用压缩感知（CS）技术重建静态场景。然而，对于视频，现有的获取和恢复方法质量较差。在本文中，我们提出了CS多尺度视频（CS-MUVI）感知与恢复框架，用于使用SMCs进行高质量视频获取与恢复。我们的框架具有新颖的感知矩阵，能够实现低分辨率视频预览的高效计算，同时支持使用凸优化进行高分辨率视频恢复。为了进一步提高重建视频的质量，我们从低分辨率预览中提取光流估计，并将其作为约束施加于恢复过程中。我们展示了我们的CS-MUVI框架在大量合成和真实测量的SMC视频数据上的功效，并且我们表明可以以大约 $60\times$ 的压缩率恢复高质量视频。