基于流形感知 GAN 的三维骨架人体运动预测
计算机视觉与模式识别
2022-03-03 v1
摘要
在这项工作中，我们提出了一种用于三维骨架人体运动预测的新颖解决方案。该任务的目标是基于先前的骨架姿态序列来预测未来的人体姿态。这涉及解决近期文献中仍然存在的两个主要挑战：（1）预测运动的不连续性导致不真实的运动，以及（2）由于误差随时间累积导致的长期预测性能下降。我们通过使用三维人体骨架运动的紧凑流形值表示来解决这些问题。具体来说，我们将三维姿态的时间演化建模为轨迹，这使我们能够将人体运动映射到球面流形上的单个点。使用这种紧凑表示可以避免误差累积，并为长期预测提供鲁棒的表示，同时确保整个运动的平滑性和连贯性。为了学习这些非欧几里得表示，我们构建了一个流形感知的 Wasserstein 生成对抗模型，该模型通过不同的损失函数捕捉人体运动的时间和空间依赖性。在 CMU MoCap 和 Human 3.6M 数据集上进行的实验证明了我们的方法在短期和长期预测方面均优于最先进的方法。定性结果突显了生成运动的平滑性。
引用
@article{arxiv.2203.00736,
title = {3D Skeleton-based Human Motion Prediction with Manifold-Aware GAN},
author = {Baptiste Chopin and Naima Otberdout and Mohamed Daoudi and Angela Bartolo},
journal= {arXiv preprint arXiv:2203.00736},
year = {2022}
}
备注
paper submitted to IEEE transactions on biometrics, behavior, and identity science, an extension of IEEE FG paper arXiv:2105.08715