结合循环神经网络与对抗训练的人体运动合成与控制
图形学
2018-06-25 v1
摘要
本文提出一种用于人体运动合成与控制的生成式深度学习网络。我们的核心思想是将循环神经网络（RNNs）与对抗训练相结合以建模人体运动。我们首先描述一种从预录运动数据训练 RNNs 模型的高效方法；采用长短期记忆（LSTM）单元实现循环神经网络，因其能处理人体运动中存在的非线性动力学与长期时间依赖。接着，我们使用对抗损失训练一个精炼网络，类似于生成对抗网络（GANs），使得经精炼的运动序列在使用判别网络时与真实动作捕捉数据无法区分。我们将接触信息嵌入该生成式深度学习模型以进一步提升性能。所得模型因紧凑、具备接触感知且能生成无限长度、数量无限的自然运动而适用于运动合成与控制。实验表明，我们的深度学习模型生成的运动始终高度逼真，可与高质量动作捕捉数据媲美。我们通过随机运动合成、在线/离线运动控制及运动滤波等多种应用展现了模型的强大与有效，并与基线模型对比证明了生成模型的优越性。
引用
@article{arxiv.1806.08666,
title = {Combining Recurrent Neural Networks and Adversarial Training for Human Motion Synthesis and Control},
author = {Zhiyong Wang and Jinxiang Chai and Shihong Xia},
journal= {arXiv preprint arXiv:1806.08666},
year = {2018}
}
备注
12 pages. arXiv admin note: text overlap with arXiv:1612.07828 by other authors