MT-VAE：学习运动变换以生成多模态人体动态
机器学习
2018-08-15 v1 人工智能
计算机视觉与模式识别
图形学
机器学习
摘要
长期人体运动可表示为一系列运动模式——捕捉短期时间动力学的运动序列——以及它们之间的过渡。我们利用这一结构，提出一种新颖的运动变换变分自编码器（MT-VAE）用于学习运动序列生成。我们的模型联合学习运动模式的特征嵌入（可从中重建运动序列）以及表示一个运动模式到下一个运动模式过渡的特征变换。我们的模型能够从同一输入生成未来多个多样且合理的运动序列。我们将该方法应用于面部与全身运动，并展示了基于类比的运动迁移和视频合成等应用。
引用
@article{arxiv.1808.04545,
title = {MT-VAE: Learning Motion Transformations to Generate Multimodal Human Dynamics},
author = {Xinchen Yan and Akash Rastogi and Ruben Villegas and Kalyan Sunkavalli and Eli Shechtman and Sunil Hadap and Ersin Yumer and Honglak Lee},
journal= {arXiv preprint arXiv:1808.04545},
year = {2018}
}
备注
Published at ECCV 2018