用于多人运动预测的关节-关系 Transformer
计算机视觉与模式识别
2023-10-30 v2
摘要
多人运动预测是一个具有挑战性的问题，因为运动依赖于个体过往动作及与他人交互的共同作用。基于 Transformer 的方法在该任务上展现出有前景的结果，但它们缺失关节间显式的关系表示，如骨架结构与两两距离，而这正是精确交互建模的关键。本文中，我们提出关节-关系 Transformer，利用关系信息增强交互建模并改善未来运动预测。我们的关系信息包含相对距离及人内/人际物理约束。为融合关系与关节信息，我们设计了一种新颖的关节-关系融合层，通过关系感知注意力更新两类特征。此外，我们通过预测未来距离来监督关系信息。实验表明，我们的方法在 3DPW-SoMoF/RC 上 900ms VIM 提升 13.4%，在 CMU-Mpcap/MuPoTS-3D 数据集上 3s MPJPE 提升 17.8%/12.0%。
引用
@article{arxiv.2308.04808,
title = {Joint-Relation Transformer for Multi-Person Motion Prediction},
author = {Qingyao Xu and Weibo Mao and Jingze Gong and Chenxin Xu and Siheng Chen and Weidi Xie and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2308.04808},
year = {2023}
}