基于多范围Transformer的多人三维运动预测
计算机视觉与模式识别
2021-11-24 v1
摘要
我们提出了一种用于多人三维运动轨迹预测的新框架。我们的核心观察是，一个人的动作和行为可能高度依赖于周围的其他人。因此，我们并非孤立地预测每个人的人体姿态轨迹，而是引入了多范围Transformer（Multi-Range Transformers）模型，该模型包含一个用于个体运动的局部范围编码器和一个用于社交交互的全局范围编码器。Transformer解码器随后通过取对应的姿态作为查询，并关注局部与全局范围编码器特征，来为每个人执行预测。我们的模型不仅在长期三维运动预测上优于最先进方法，还能生成多样的社交交互。更有趣的是，我们的模型甚至可以通过自动将人群划分为不同交互组来同时预测15人的运动。带有代码的项目页面可在 https://jiashunwang.github.io/MRT/ 获取。
引用
@article{arxiv.2111.12073,
title = {Multi-Person 3D Motion Prediction with Multi-Range Transformers},
author = {Jiashun Wang and Huazhe Xu and Medhini Narasimhan and Xiaolong Wang},
journal= {arXiv preprint arXiv:2111.12073},
year = {2021}
}