基于薄板样条的动画线条中间帧插值方法
计算机视觉与模式识别
2024-08-20 v1
摘要
动画线条中间帧生成是动画制作中的关键步骤，旨在通过预测两个关键帧之间的中间线条艺术来增强动画的流畅性。然而，现有方法在有效处理线条艺术关键帧中的稀疏像素和显著运动方面面临挑战。在文献中，倒角距离（Chamfer Distance, CD）通常用于评估中间帧生成的性能。尽管取得了良好的CD值，现有方法常常生成存在线条断裂的插值帧，尤其是在涉及大运动的场景中。受此观察启发，我们提出了一种简单而有效的动画线条中间帧插值方法，该方法采用基于薄板样条的变换，通过对两个关键帧之间的关键点对应关系进行建模，更准确地估计粗略运动，特别适用于大运动场景。在此粗略估计的基础上，采用运动细化模块进一步增强运动细节，然后使用一个简单的UNet模型进行最终帧插值。此外，为了更准确地评估动画线条中间帧的性能，我们改进了CD指标，并引入了一种称为加权倒角距离（Weighted Chamfer Distance）的新指标，该指标与视觉感知质量具有更高的一致性。另外，我们还引入了推土机距离（Earth Mover's Distance）并进行了用户研究，以提供更全面的评估。我们的方法通过提供具有增强流畅性的高质量插值结果，优于现有方法。代码可在\url{https://github.com/Tian-one/tps-inbetween}获取。
引用
@article{arxiv.2408.09131,
title = {Thin-Plate Spline-based Interpolation for Animation Line Inbetweening},
author = {Tianyi Zhu and Wei Shang and Dongwei Ren and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2408.09131},
year = {2024}
}