面向真实场景的深度动画视频插帧
计算机视觉与模式识别
2021-04-07 v1
摘要
在动画产业中，卡通视频通常以低帧率制作，因为手工绘制这些帧成本高且耗时。因此，开发能够自动插补中间动画帧的计算模型是值得期待的。然而，现有的视频插帧方法在动画数据上无法产生令人满意的结果。与自然视频相比，动画视频具有两个独特的特征使得帧插补困难：1）卡通由线条和平滑色块组成。平滑区域缺乏纹理，使得难以在动画视频上估计准确运动。2）卡通通过夸张表达故事。部分运动是非线性且极大的。在本工作中，我们首次正式定义并研究了动画视频插帧问题。为应对上述挑战，我们提出了一种有效的框架 AnimeInterp，以由粗到精的方式包含两个专用模块。具体而言，1）Segment-Guided Matching 通过利用逐块一致的颜色块之间的全局匹配，解决了“缺乏纹理”的挑战。2）Recurrent Flow Refinement 通过使用类 transformer 架构的循环预测，解决了“非线性且极大运动”的挑战。为促进全面训练与评估，我们构建了一个大规模动画三元组数据集 ATD-12K，包含 12,000 个带有丰富标注的三元组。大量实验表明，我们的方法优于现有的动画视频最先进插帧方法。值得注意的是，AnimeInterp 在真实场景下的动画场景中展现出良好的感知质量与鲁棒性。所提出的数据集与代码可在 https://github.com/lisiyao21/AnimeInterp/ 获取。
引用
@article{arxiv.2104.02495,
title = {Deep Animation Video Interpolation in the Wild},
author = {Li Siyao and Shiyu Zhao and Weijiang Yu and Wenxiu Sun and Dimitris N. Metaxas and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2104.02495},
year = {2021}
}
备注
Accepted by CVPR21