Vid2Actor:从野外视频中自由视角可动画人物合成
计算机视觉与模式识别
2020-12-24 v1 图形学
摘要
给定一段人物的“野外”视频,我们重建视频中人物的可动画模型。所输出模型可通过习得的控制以任意身体姿态渲染至任意相机视角,无需显式 3D 网格重建。我们方法的核心是由在输入视频上训练的深度网络重建的体素化 3D 人体表示,支持新颖姿态/视角合成。相较基于 GAN 的图像到图像翻译,我们的方法有所推进,因其通过内部 3D 表示允许任意姿态与相机的图像合成,同时如基于网格的学习那样,不需要预绑定模型或真实网格用于训练。实验验证了设计选择,并在合成数据及执行无约束活动(如跳舞或打网球)的多样人物的真实视频上得出结果。最后,我们展示了利用习得模型的动作重定向与子弹时间渲染。
引用
@article{arxiv.2012.12884,
title = {Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild},
author = {Chung-Yi Weng and Brian Curless and Ira Kemelmacher-Shlizerman},
journal= {arXiv preprint arXiv:2012.12884},
year = {2020}
}
备注
Project Page: https://grail.cs.washington.edu/projects/vid2actor/ Supplementary Video: https://youtu.be/Zec8Us0v23o