具有循环一致性约束的半监督视频修复

基于深度学习的视频修复已取得令人鼓舞的结果并受到研究者日益增多的关注。通常，这些方法假定每帧的损坏区域掩码已知且易获取。然而，这些掩码的标注劳动密集且昂贵，限制了现有方法的实际应用。因此，我们通过定义一种新的半监督修复设定来放宽该假设，使网络仅利用单帧的标注掩码即可完成整段视频的损坏区域填充。具体而言，本文提出一个端到端可训练框架，由补全网络与掩码预测网络组成，分别用于利用已知掩码生成当前帧的损坏内容、判定下一帧待填充区域。此外，我们引入循环一致性损失来正则化这两个网络的训练参数。如此，补全网络与掩码预测网络可相互约束，从而最大化训练模型的整体性能。再者，由于先验知识（如损坏内容与清晰边界）的自然存在，现有视频修复数据集不适用于半监督视频修复场景。为此，我们通过模拟真实世界场景的损坏视频构建了一个新数据集。大量实验结果证明了我们的模型在视频修复任务中的优越性。值得注意的是，尽管我们的模型以半监督方式训练，其性能可与全监督方法相媲美。