HyperCUT：利用无监督排序从单张模糊图像生成视频序列

我们考虑训练图像到视频去模糊模型的挑战性任务，其旨在从给定的模糊图像输入中恢复出对应的清晰图像序列。干扰图像到视频模型训练的一个关键问题是帧排序的模糊性，因为正向和反向序列都是合理的解。本文提出一种有效的自监督排序方案，使得可以训练高质量的图像到视频去模糊模型。与依赖顺序不变损失的先前方法不同，我们为每视频序列分配显式顺序，从而避免了顺序模糊问题。具体而言，我们将每个视频序列映射到潜高维空间中的一个向量，使得存在一个超平面，对每个视频序列，从其自身及其反转序列提取的向量位于该超平面的不同侧。向量的侧别将被用于定义相应序列的顺序。最后但同样重要的是，我们针对图像到视频去模糊问题提出了一个真实图像数据集，涵盖包括人脸、手和街道在内的多种流行领域。大量实验结果证实了我们的方法的有效性。代码和数据可在 https://github.com/VinAIResearch/HyperCUT.git 获取。