弥合鸿沟：面向高质量动画草图中间帧生成的草图感知插值网络
计算机视觉与模式识别
2024-08-15 v2 多媒体
摘要
手绘 2D 动画工作流通常以创建草图关键帧开始。随后手工制作中间帧以保证流畅性，这是一个劳动密集型过程，而自动动画草图插值的前景已变得极具吸引力。然而，常见的帧插值方法通常受两个关键问题阻碍：1）草图中有限的纹理与色彩细节，以及 2）两个草图关键帧之间夸张的变化。为克服这些问题，我们提出了一种新颖的深度学习方法——草图感知插值网络（SAIN）。该方法融合了多层次引导，构建了区域级对应、笔画级对应与像素级动态。随后设计了一个多流 U-Transformer，通过自注意力/交叉注意力机制的整合，利用这些多层次引导来刻画草图中间帧生成模式。此外，为促进未来对动画草图中间帧生成的研究，我们构建了一个大规模数据集——STD-12K，包含 30 个多样艺术风格的草图动画系列。在该数据集上的全面实验令人信服地表明，我们提出的 SAIN 超越了最先进的插值方法。
引用
@article{arxiv.2308.13273,
title = {Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening},
author = {Jiaming Shen and Kun Hu and Wei Bao and Chang Wen Chen and Zhiyong Wang},
journal= {arXiv preprint arXiv:2308.13273},
year = {2024}
}