利用 Transformer 挖掘群体线索的社会群体活动识别
计算机视觉与模式识别
2022-07-13 v1
摘要
本文提出一种用于社会群体活动识别的新框架。作为群体活动识别的扩展任务，社会群体活动识别需要识别多个子群体活动并确定群体成员。大多数现有方法通过细化区域特征并将其汇总为活动特征来处理这两个任务。这种启发式特征设计使特征的有效性易受不完整的人体定位影响，且忽视了场景上下文的重要性。此外，区域特征在识别群体成员方面是次优的，因为特征可能由区域内人物的特征主导并具有不同的语义。为克服这些缺陷，我们提出利用 Transformer 中的注意力模块生成有效的社会群体特征。我们的方法设计为使注意力模块识别并聚合与社会群体活动相关的特征，为每个社会群体生成有效特征。群体成员信息被嵌入特征中，从而可由前馈网络获取。前馈网络的输出如此简洁地表示群体，以至于可通过群体与个体间简单的匈牙利匹配来识别群体成员。实验结果表明，我们的方法在 Volleyball 和 Collective Activity 数据集上优于最先进的方法。
引用
@article{arxiv.2207.05254,
title = {Hunting Group Clues with Transformers for Social Group Activity Recognition},
author = {Masato Tamura and Rahul Vishwakarma and Ravigopal Vennelakanti},
journal= {arXiv preprint arXiv:2207.05254},
year = {2022}
}
备注
Accepted to ECCV2022