基于模糊-编码图像对时空融合的视频重建

基于学习的方法已经能够从单张运动模糊图像或单张编码曝光图像中恢复视频序列。从单张运动模糊图像恢复视频是一个严重不适定问题，恢复出的视频通常存在许多伪影。此外，运动方向丢失并导致运动歧义。然而，它具有完全保留场景静态部分信息的优势。传统的编码曝光框架适定性较好，但仅对时空体积的一小部分进行采样，最多为时空体积的 50%。在此，我们提出利用全曝光（模糊）图像与编码曝光图像中存在的互补信息，恢复无运动歧义的高保真视频。我们的框架由一个共享编码器和一个注意力模块组成，用于选择性地将全曝光图像的空间信息与编码图像的时间信息相结合，随后进行超分辨率恢复出无歧义的高质量视频。我们算法的输入是一对全曝光和编码图像。这样的采集系统已经以编码双桶（Coded-two-bucket, C2B）相机的形式存在。我们证明，所提出的基于模糊-编码图像对的深度学习方法比仅使用模糊图像或仅使用编码图像的方法产生好得多的结果。