用于人体运动预测的多层级运动注意力
计算机视觉与模式识别
2021-06-18 v1
摘要
人体运动预测旨在给定历史运动的情况下预测未来人体姿态。无论是基于循环还是前馈神经网络，现有的基于学习的方法都未能对人体运动倾向于自我重复的观测进行建模，即便是复杂的体育动作和烹饪活动也是如此。在此，我们引入一种基于注意力的前馈网络，显式地利用这一观测。特别地，我们提出提取运动注意力以捕获当前运动上下文与历史运动子序列之间的相似性，而非通过姿态相似性建模帧级注意力。在此背景下，我们研究了在关节、身体部位和完整姿态层级上计算的不同类型注意力的使用。聚合相关的过去运动并使用图卷积网络处理结果，使我们能够有效利用长期历史中的运动模式来预测未来姿态。我们在Human3.6M、AMASS和3DPW上的实验验证了我们的方法对周期性和非周期性动作的优势。得益于我们的注意力模型，它在所有三个数据集上均取得了最先进的成果。我们的代码可在 https://github.com/wei-mao-2019/HisRepItself 获取。
引用
@article{arxiv.2106.09300,
title = {Multi-level Motion Attention for Human Motion Prediction},
author = {Wei Mao and Miaomiao Liu and Mathieu Salzmann and Hongdong Li},
journal= {arXiv preprint arXiv:2106.09300},
year = {2021}
}
备注
Accepted by IJCV. arXiv admin note: substantial text overlap with arXiv:2007.11755