基于运动理解从单张模糊图像恢复视频帧

我们提出一种从单张运动模糊图像生成干净视频帧的新框架。尽管大量文献聚焦于从模糊图像恢复单张图像，本文中我们解决更具挑战性的任务，即从模糊图像进行视频恢复。我们将从单张模糊图像恢复视频建模为逆问题：以干净图像序列及其各自运动为潜在因子，以模糊图像为观测。我们的框架基于带空间变换网络模块的编码器-解码器结构，以端到端方式恢复视频序列及其底层运动。我们设计了具有互补特性的损失函数与正则化项以稳定训练，并分析了所提网络的不同变体。通过在两类不同数据集（由全景场景生成的相机旋转模糊与高速视频中的动态运动模糊）上的大量实验，凸显了网络的有效性与可迁移性。