从运动模糊图像生成过去、现在和未来

我们试图回答这个问题：一张运动模糊图像能揭示场景的过去、现在和未来什么信息？尽管运动模糊掩盖了图像细节并降低了视觉质量，但它也编码了曝光期间场景和相机运动的信息。先前的技术利用这些信息从输入的模糊图像估计出一张清晰图像，或者预测一系列视频帧，显示图像捕获瞬间可能发生的情况。然而，它们依赖于手工设计的先验或网络架构来解决这个逆问题中的歧义，并且没有结合大规模数据集上的图像和视频先验。因此，现有方法难以再现复杂的场景动态，并且不尝试恢复图像拍摄之前或之后发生的情况。在这里，我们引入了一种新技术，该技术重新利用在互联网规模数据集上预训练的视频扩散模型，来恢复揭示捕获瞬间复杂场景动态以及可能发生在过去或未来瞬间的视频。我们的方法鲁棒且通用；它在任务上优于先前的方法，能泛化到具有挑战性的野外图像，并支持下游任务，例如恢复相机轨迹、物体运动和动态3D场景结构。代码和数据可在https://blur2vid.github.io获取。