PGformer：用于多人高度交互极端运动预测的代理桥接博弈Transformer
计算机视觉与模式识别
2024-01-09 v3
摘要
多人运动预测是一项具有挑战性的任务，尤其是对于高度交互人物的真实场景。以往大多数工作致力于研究弱交互（例如一起行走）的情况，其中通常孤立地预测每个人体姿态仍能取得良好性能。本文关注具有极端运动的多个人的协作运动预测，并尝试探索高度交互人物姿态轨迹之间的关系。具体而言，提出了一种新颖的跨查询注意力（XQA）模块，针对该情况双边学习两条姿态序列之间的交叉依赖关系。此外引入一个代理单元来桥接所涉及的人物，其与我们提出的XQA模块协作并精细控制双向空间信息流。这些设计随后被集成到一个基于Transformer的架构中，所得模型称为代理桥接博弈Transformer（PGformer），用于多人交互运动预测。其有效性已在具有高度交互动作的极具挑战性的ExPI数据集上进行了评估。我们的PGformer在短期和长期预测中均以较大优势持续优于最先进的方法。此外，我们的方法也可兼容弱交互的CMU-Mocap和MuPoTS-3D数据集，并扩展到多于2个个体的情况且取得了令人鼓舞的结果。
引用
@article{arxiv.2306.03374,
title = {PGformer: Proxy-Bridged Game Transformer for Multi-Person Highly Interactive Extreme Motion Prediction},
author = {Yanwen Fang and Jintai Chen and Peng-Tao Jiang and Chao Li and Yifeng Geng and Eddy K. F. Lam and Guodong Li},
journal= {arXiv preprint arXiv:2306.03374},
year = {2024}
}