姿态引导的人体视频生成
计算机视觉与模式识别
2018-07-31 v1
摘要
由于生成对抗网络（GAN）的出现，视频合成取得了非凡突破。然而，现有方法缺乏适当表示来显式控制视频中的动态。另一方面，人体姿态能从本质上和可解释地表示运动模式，并施加与外观无关的几何约束。本文提出一种姿态引导方法以解耦方式合成人体视频：合理运动预测与连贯外观生成。第一阶段，姿态序列生成对抗网络（PSGAN）以对抗方式学习生成以类别标签为条件的姿态序列。第二阶段，语义一致生成对抗网络（SCGAN）由姿态生成视频帧，同时保留输入图像中的连贯外观。通过在高特征层强制生成姿态与真实姿态间的语义一致性，我们的SCGAN对噪声或异常姿态具有鲁棒性。在人体动作和人脸数据集上的大量实验显示了所提方法优于其他state-of-the-art方法。
引用
@article{arxiv.1807.11152,
title = {Pose Guided Human Video Generation},
author = {Ceyuan Yang and Zhe Wang and Xinge Zhu and Chen Huang and Jianping Shi and Dahua Lin},
journal= {arXiv preprint arXiv:1807.11152},
year = {2018}
}
备注
Accepted to ECCV 2018