基于深度视频的性能克隆
计算机视觉与模式识别
2018-08-22 v1 图形学
摘要
我们提出了一种新的基于视频的性能克隆技术。在使用捕捉目标演员外观与动态的参考视频训练深度生成网络后，我们能够生成该演员重新演绎其他表演的视频。所有训练数据和驱动表演都以普通视频片段的形式提供，无需动作捕捉或深度信息。我们的生成模型实现为一个具有两个分支的深度神经网络，两个分支均使用共享权重训练相同的时空条件生成器。一个分支负责学习在各种姿态下生成目标演员的外观，使用从参考视频自生成的配对训练数据。第二个分支使用非配对数据来改进对未见姿态序列的时间连贯视频渲染的生成。我们展示了一系列有前景的结果，其中我们的方法能够为参考视频和驱动视频由非常不同的舞蹈表演组成的挑战性场景生成时间连贯的视频。补充视频：https://youtu.be/JpwsEeqNhhA。
引用
@article{arxiv.1808.06847,
title = {Deep Video-Based Performance Cloning},
author = {Kfir Aberman and Mingyi Shi and Jing Liao and Dani Lischinski and Baoquan Chen and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:1808.06847},
year = {2018}
}