ToonCrafter: 生成式卡通插值

我们介绍ToonCrafter，一种超越传统基于对应关系的卡通视频插值方法的新方法， paving the way for generative interpolation。传统方法假设运动为线性且不存在复杂现象如遮挡，常在卡通中常见的夸张非线性和大位移遮挡情况下难以实现合理插值，导致插值结果不合理甚至失败。为克服这些限制，我们探索在生成式框架内适应生动视频先验以更适合卡通插值的潜力。ToonCrafter有效解决了将生动视频运动先验应用于生成式卡通插值中的挑战。首先，我们设计了卡通矫正学习策略，无缝适配生动视频先验至卡通领域，解决领域差距和内容泄漏问题；其次，我们引入基于双参考的3D解码器，以补偿高度压缩的先验空间中因信息丢失导致的细节缺失，确保插值结果的细节保留；最后，我们设计了灵活的草图编码器，赋予用户对插值结果的交互式控制。实验结果表明，我们的方法不仅产生视觉上令人信服且更自然的动态效果，还有效处理遮挡问题。比较评估显示，我们的方法在现有竞争方法中显著优于。