Neural Puppet：生成式分层卡通角色
计算机视觉与模式识别
2020-10-14 v3 图形学
机器学习
摘要
我们提出一种基于学习的方法，给定少量示例图像即可生成卡通角色的新动画。我们的方法设计用于从传统动画序列中学习，其中每帧由画师绘制，因此输入图像缺乏任何共同结构、对应点或标签。我们将姿态变化表示为分层 2.5D 模板网格的形变，并设计一种新颖架构，学习预测使模板匹配目标图像的网格形变。这使我们能够从多样化的角色姿态集合中提取共同的低维结构。我们结合可微渲染及网格感知模型的最新进展，即便训练期间仅有少量角色图像可用，也能成功对齐共同模板。除粗略姿态外，角色外观也因明暗、平面外运动与艺术效果而变化。我们通过应用图像翻译网络细化网格渲染来捕捉这些细微变化，提供端到端模型以高视觉质量生成角色新动画。我们展示我们的生成模型可用于合成中间帧并创建数据驱动的形变。我们的模板拟合过程在检测图像对应点方面优于最先进的通用技术。
引用
@article{arxiv.1910.02060,
title = {Neural Puppet: Generative Layered Cartoon Characters},
author = {Omid Poursaeed and Vladimir G. Kim and Eli Shechtman and Jun Saito and Serge Belongie},
journal= {arXiv preprint arXiv:1910.02060},
year = {2020}
}
备注
WACV 2020