增强的深度动画视频插值
计算机视觉与模式识别
2022-06-28 v1 人工智能
摘要
现有基于学习的帧插值算法从高帧率自然视频中提取连续帧来训练模型。与自然视频相比，卡通视频通常帧率较低。此外，连续卡通帧之间的运动通常是非线性的，这打破了插值算法的线性运动假设。因此，直接从卡通视频生成训练集是不合适的。为了更好地将帧插值算法从自然视频适配到动画视频，我们提出AutoFI，一种简单有效的方法，用于自动渲染深度动画视频插值的训练数据。AutoFI采用分层架构渲染合成数据，从而确保线性运动假设。实验结果表明，AutoFI在训练DAIN与ANIN时均表现良好。然而，大多数帧插值算法在易错区域（如快速运动或大遮挡）仍会失败。除AutoFI外，我们还提出一种即插即用的基于草图的后处理模块，名为SktFI，利用用户手动提供的草图来优化最终结果。借助AutoFI与SktFI，插值后的动画帧展现出高感知质量。
引用
@article{arxiv.2206.12657,
title = {Enhanced Deep Animation Video Interpolation},
author = {Wang Shen and Cheng Ming and Wenbo Bao and Guangtao Zhai and Li Chen and Zhiyong Gao},
journal= {arXiv preprint arXiv:2206.12657},
year = {2022}
}