深度几何化卡通线稿中间帧生成
计算机视觉与模式识别
2023-09-29 v1
摘要
我们旨在解决动漫产业中一个重要但研究不足的问题，即卡通线稿的中间帧生成。中间帧生成涉及在两幅黑白线稿之间生成中间帧，是一个耗时且昂贵的过程，可从自动化中受益。然而，现有依赖整幅光栅图像匹配与变形的帧插值方法不适用于线稿中间帧生成，且常产生模糊伪影，破坏精细的线条结构。为保留线稿的精度与细节，我们提出一种新方法 AnimeInbet，该方法将光栅线稿几何化为端点图，并将中间帧任务重构为带顶点重定位的图融合问题。我们的方法能有效捕捉线稿的稀疏性与独特结构，同时在中间帧生成中保留细节。这得益于我们的新颖模块，即顶点几何嵌入、顶点对应 Transformer、有效的顶点重定位机制以及可见性预测器。为训练我们的方法，我们引入了 MixamoLine240，一个具有真值矢量化和匹配标签的线稿新数据集。我们的实验表明，AnimeInbet 合成高质量、干净且完整的中间线稿，在定量与定性上均优于现有方法，尤其在大幅运动情况下。数据和代码见 https://github.com/lisiyao21/AnimeInbet。
引用
@article{arxiv.2309.16643,
title = {Deep Geometrized Cartoon Line Inbetweening},
author = {Li Siyao and Tianpei Gu and Weiye Xiao and Henghui Ding and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2309.16643},
year = {2023}
}
备注
ICCV 2023