历史重演：基于运动注意力的人体运动预测
计算机视觉与模式识别
2020-07-24 v1 机器学习
图像与视频处理
摘要
人体运动预测旨在给定一段过去运动的情况下预测未来人体姿态。无论是基于循环还是前馈神经网络，现有方法都未能对人体运动倾向于自我重复这一观察进行建模，即便对于复杂的体育动作和烹饪活动也是如此。在此，我们引入一种基于注意力的前馈网络，显式地利用这一观察。具体而言，我们提出提取运动注意力以捕获当前运动上下文与历史运动子序列之间的相似性，而非通过姿态相似性建模逐帧注意力。聚合相关的过去运动并利用图卷积网络处理结果，使我们能够有效利用长期历史中的运动模式来预测未来姿态。我们在Human3.6M、AMASS和3DPW上的实验证明了我们的方法对于周期性和非周期性动作的优势。得益于我们的注意力模型，它在所有三个数据集上均取得了最先进（state-of-the-art）的结果。我们的代码可在 https://github.com/wei-mao-2019/HisRepItself 获取。
引用
@article{arxiv.2007.11755,
title = {History Repeats Itself: Human Motion Prediction via Motion Attention},
author = {Wei Mao and Miaomiao Liu and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2007.11755},
year = {2020}
}
备注
Accepted by ECCV2020