上下文感知的人体运动预测
计算机视觉与模式识别
2020-03-25 v3
摘要
给定一段过去观测序列来预测人体运动的问题，是机器人与计算机视觉许多应用的核心。当前最优方法将该问题表述为序列到序列任务，其中历史3D骨架输入循环神经网络（RNN）以预测未来运动，通常预测时长为1至2秒。然而，迄今为止被忽视的一个事实是，人体运动本质上由与环境中物体和/或其他人的交互所驱动。本文利用一种新颖的上下文感知运动预测架构来探索这一场景。我们采用语义图模型，其中节点参数化场景中的人与物体，边表示它们的相互交互。这些交互通过图注意力层结合过去观测（现包含物体与人体运动）迭代学习。一旦学到该语义图，便将其注入标准RNN以预测人/物未来的运动。我们考虑了架构的两种变体：在未来冻结上下文交互或更新它们。在“全身人体运动数据库”上的充分评估表明，两种情况中，我们的上下文感知网络均明显优于未考虑上下文信息的基线。
引用
@article{arxiv.1904.03419,
title = {Context-aware Human Motion Prediction},
author = {Enric Corona and Albert Pumarola and Guillem Alenyà and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:1904.03419},
year = {2020}
}
备注
Accepted at CVPR20