一种用于基于骨架的人体运动预测的吸引子引导神经网络
计算机视觉与模式识别
2022-05-09 v2
摘要
关节关系建模是人体运动预测中的关键组成部分。大多数现有方法倾向于设计基于骨架的图来建立关节之间的关系，从而较好地学习了关节对之间的局部交互。然而，反映人体运动平衡特性的所有关节的全局协调性通常被削弱，因为它是从局部到整体逐步且异步地学习的。因此，最终预测的运动有时不自然。为解决此问题，我们从运动的时空特征中学习一个称为平衡吸引子（BA）的媒介来刻画全局运动特征，随后将其用于建立新的关节关系。通过 BA，所有关节被同步关联，从而能更好地学习所有关节的全局协调性。基于 BA，我们提出称为吸引子引导神经网络（Attractor-Guided Neural Network）的框架，主要包括基于吸引子的关节关系提取器（AJRE）和多时间尺度动态提取器（MTDE）。AJRE 主要包括全局协调提取器（GCE）和局部交互提取器（LIE）。前者表征所有关节的全局协调性，后者编码关节对之间的局部交互。MTDE 旨在从原始位置信息中提取动态信息以实现有效预测。大量实验表明，所提框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中均优于 SOTA 方法。
引用
@article{arxiv.2105.09711,
title = {An Attractor-Guided Neural Networks for Skeleton-Based Human Motion Prediction},
author = {Pengxiang Ding and Junying Wang and Jianqin Yin},
journal= {arXiv preprint arXiv:2105.09711},
year = {2022}
}