关系学习与聚合注意力用于多人运动预测
计算机视觉与模式识别
2024-11-07 v1 人工智能
摘要
多人运动预测是一项新兴且复杂的任务，具有广泛的实际应用前景。与单人的运动预测不同，它不仅考虑骨骼结构或人体轨迹，还考虑人与人之间的交互。先前方法使用各种网络实现了令人印象深刻的预测，但往往忽略了个人内部关节关系（内关系）和群体之间的交互（外关系）是不同类型的表示。这些方法通常缺乏对外关系和内关系的显式表示，并不可避免地引入了不必要的依赖。为解决这一问题，我们提出了一种新的多人运动预测协作框架，显式建模这些关系：一个基于图卷积网络(GCN)的内关系网络和一个新颖的外关系推理网络。此外，我们提出了一种新颖的即插即用聚合模块——交互聚合模块(IAM)，采用聚合注意力机制无缝整合这些关系。实验表明该模块也可应用于其他双路径模型。在3DPW、3DPW-RC、CMU-Mocap、MuPoTS-3D以及合成数据集Mix1和Mix2（9至15人）上的大量实验表明，我们的方法达到了最先进的性能。
引用
@article{arxiv.2411.03729,
title = {Relation Learning and Aggregate-attention for Multi-person Motion Prediction},
author = {Kehua Qu and Rui Ding and Jin Tang},
journal= {arXiv preprint arXiv:2411.03729},
year = {2024}
}
备注
Submitted to IEEE Transactions on Multimedia