3D 人体运动预测与分类
计算机视觉与模式识别
2021-01-01 v1 人工智能
人机交互
机器学习
机器人学
摘要
人体运动预测与理解是一个具有挑战性的问题，原因在于人体运动的复杂动态特性以及未来预测的非确定性。我们提出一种用于人体运动预测与特征学习的新型序列到序列模型，使用改进的生成对抗网络（GAN）训练，并采用受人体运动动画启发的自定义损失函数，可控制同一输入姿态所预测的多个运动之间的差异。我们的模型从同一输入序列学习预测多组未来人体姿态序列。我们表明，通过在动作识别任务中使用所学特征，判别器学习到了人体运动的通用表示。此外，为量化非确定性预测的质量，我们同时训练一个运动质量评估网络，学习给定姿态序列是否为真实人体运动的概率。我们在两个最大的人体姿态数据集 NTURGB-D 和 Human3.6M 上测试模型，训练涵盖单动作与多动作类型。其运动估计的预测能力通过从同一输入生成多个合理未来并展示各损失函数的作用得以证明。此外，我们表明使用判别器所学特征训练动作识别网络所需的训练轮数不到一半。
引用
@article{arxiv.2012.15378,
title = {3D Human motion anticipation and classification},
author = {Emad Barsoum and John Kender and Zicheng Liu},
journal= {arXiv preprint arXiv:2012.15378},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:1711.09561