用于自动动画上色的线稿关联匹配特征迁移网络

自动动画线稿上色是一个具有挑战性的计算机视觉问题，因为线稿信息高度稀疏且抽象，并且帧间对颜色和风格一致性有严格要求。近来，出现了许多基于生成对抗网络（GAN）的单线稿上色图像到图像翻译方法。它们能以线稿图像为条件生成感知上吸引人的结果。然而，这些方法不能用于动画上色，因为它们缺乏对中间帧一致性的考虑。现有方法简单地将前一着色帧作为输入参考来为下一帧线稿上色，由于前一着色帧与下一帧线稿的空间错位（尤其在发生明显变化的位置）这会误导上色。为应对这些挑战，我们设计了一种关联匹配特征迁移模型（称为 CMFT）以可学习的方式对齐着色参考特征，并将该模型以由粗到细的方式集成到基于 U-Net 的生成器中。这使得生成器能够将层级的同步特征从深层语义编码逐步迁移到内容。扩展评估表明，CMFT 模型能有效改善帧间一致性及着色帧质量，尤其在运动剧烈且多样时。