深度草图引导的卡通视频中间帧生成

我们提出了一种新颖的框架，通过从两帧输入关键帧中获取颜色信息，并遵循用户草图引导的动画运动来生成卡通视频。所提方法的核心思想在于估计草图与卡通视频帧之间的稠密跨域对应关系，并采用带有遮挡估计的混合模块来合成由草图引导的中间帧。此后，将输入帧与已建立对应关系的合成帧送入任意时刻帧插值流水线，以生成并细化额外的插帧。最后，采用一个保持时间一致性的模块。与常见的帧插值方法相比，我们的方法能够处理具有相对较大运动的帧，并且具有灵活性，使用户能够通过编辑草图引导来控制生成的视频序列。通过显式考虑帧与草图之间的对应关系，我们可以获得比其他图像合成方法更高质量的结果。我们的结果表明，我们的系统对不同电影帧具有很好的泛化能力，取得了比现有方案更好的结果。