用于多人姿态预测的轨迹感知身体交互 Transformer
计算机视觉与模式识别
2023-03-14 v2
摘要
多人姿态预测仍是一个具有挑战性的问题，尤其在复杂人群场景中建模细粒度人体交互方面。现有方法通常将整个姿态序列表示为时间序列，却忽视了基于骨骼身体部位的人与人之间的交互影响。本文中，我们提出了一种新颖的轨迹感知身体交互 Transformer（TBIFormer）用于多人姿态预测，通过有效建模身体部位交互实现。具体而言，我们构建了时间身体划分模块，将所有姿态序列转换为多人身体部位序列，以基于身体语义保留空间与时间信息。然后，我们设计了社会身体交互自注意力（SBI-MSA）模块，利用转换后的序列学习身体部位动态以建模个体间与个体内的交互。此外，不同于先前基于欧氏距离的空间编码，我们提出了一种新颖且高效的轨迹感知相对位置编码用于 SBI-MSA，以提供判别性空间信息与额外的交互线索。在短期与长期预测上，我们在 CMU-Mocap、MuPoTS-3D 以及合成数据集（6~10 人）上实证评估了我们的框架，并表明我们的方法大幅优于最先进的方法。代码将在录用后公开。
引用
@article{arxiv.2303.05095,
title = {Trajectory-Aware Body Interaction Transformer for Multi-Person Pose Forecasting},
author = {Xiaogang Peng and Siyuan Mao and Zizhao Wu},
journal= {arXiv preprint arXiv:2303.05095},
year = {2023}
}
备注
Accepted by CVPR2023, 8 pages, 6 figures. arXiv admin note: text overlap with arXiv:2208.09224