探究三维运动预测中的姿态表示与运动上下文建模
计算机视觉与模式识别
2022-01-03 v1 人工智能
机器学习
摘要
从历史姿态序列预测人体运动对于机器成功实现与人的智能交互至关重要。迄今为止被忽视的一个方面是，我们如何表示骨骼姿态对预测结果有关键影响。然而，目前尚无研究对不同姿态表示方案进行比较考察。我们对多种姿态表示进行了深入研究，重点关注它们对运动预测任务的影响。此外，近期方法基于现成的 RNN 单元进行运动预测，这些方法顺序处理输入姿态序列，本质上难以捕捉长期依赖关系。本文提出一种称为 AHMR（注意力分层运动循环网络，Attentive Hierarchical Motion Recurrent network）的新型 RNN 架构用于运动预测，其同时建模局部运动上下文与全局上下文。我们进一步探索了用于运动预测任务的测地损失与前向运动学损失，它们比广泛使用的 L2 损失具有更强的几何意义。有趣的是，我们将方法应用于一系列关节物体，包括人、鱼和鼠。实证结果表明，我们的方法在短期预测上优于 SOTA 方法，并大幅提升了长期预测能力，例如在超过 50 秒的预测中保持自然类人运动。我们的代码已开源。
引用
@article{arxiv.2112.15012,
title = {Investigating Pose Representations and Motion Contexts Modeling for 3D Motion Prediction},
author = {Zhenguang Liu and Shuang Wu and Shuyuan Jin and Shouling Ji and Qi Liu and Shijian Lu and Li Cheng},
journal= {arXiv preprint arXiv:2112.15012},
year = {2022}
}
备注
Accepted to IEEE TPAMI, 27 Dec. 2021