中文

MLP-AIR:一种基于MLP的高效群体活动识别中参与者交互关系学习方法

计算机视觉与模式识别 2023-04-19 v1

摘要

群体活动识别(GAR)任务旨在通过学习的群体内参与者的时空交互关系来预测群体的活动类别。因此,有效的参与者关系学习方法对GAR任务至关重要。先前的工作主要通过精心设计的GCN或Transformer来学习交互关系。例如,为推断参与者交互关系,GCN需要可学习的邻接矩阵,而Transformer需要计算自注意力。尽管上述方法能有效建模交互关系,但也增加了模型的复杂度(参数数量与计算量)。本文中,我们设计了一种新颖的基于MLP的参与者交互关系学习方法(MLP-AIR)用于GAR。与GCN和Transformer相比,我们的方法具有竞争力且概念与技术上都更简单的替代方案,显著降低了复杂度。具体而言,MLP-AIR包含三个子模块:基于MLP的空间关系建模模块(MLP-S)、基于MLP的时间关系建模模块(MLP-T)和基于MLP的关系精炼模块(MLP-R)。MLP-S用于建模每帧中不同参与者之间的空间关系。MLP-T用于建模每个参与者在不同帧之间的时间关系。MLP-R用于进一步精炼关系特征不同维度之间的关系以提升特征表达能力。为评估MLP-AIR,我们在两个广泛使用的基准(包括Volleyball和Collective Activity数据集)上进行了大量实验。实验结果表明,MLP-AIR能以低复杂度取得具有竞争力的结果。

关键词

引用

@article{arxiv.2304.08803,
  title  = {MLP-AIR: An Efficient MLP-Based Method for Actor Interaction Relation Learning in Group Activity Recognition},
  author = {Guoliang Xu and Jianqin Yin},
  journal= {arXiv preprint arXiv:2304.08803},
  year   = {2023}
}

备注

Submit to Neurocomputing