单样本视频修复

近年来，利用深度视频修复算法从视频中移除对象并填充擦除区域引起了广泛关注。通常，此任务需要视频序列和所有帧的对象分割掩码作为输入。然而，在实际应用中，为所有帧提供分割掩码相当困难且效率低下。因此，我们以单样本方式处理视频修复，仅将初始帧的对象掩码作为其输入。尽管我们可以通过朴素地结合视频对象分割和视频修复方法来实现这一点，但它们是次优的，通常会导致严重错误。为了解决这个问题，我们提出了一种用于单样本视频修复的统一流水线。通过以端到端的方式联合学习掩码预测和视频补全，可以使结果对整个任务达到最优，而不是对每个单独的模块最优。此外，与使用预测掩码作为真实线索的两阶段方法不同，我们的方法更可靠，因为预测掩码可以用作网络的内部指导。在为单样本视频修复合成的数据集上，我们提出的方法在定量和定性上均优于所有其他方法。