DECOMPL:基于注意力池化分解学习从单张排球图像进行群体活动识别
计算机视觉与模式识别
2023-03-14 v1 机器学习
摘要
群体活动识别(GAR)旨在检测场景中多个参与者执行的活动。先前工作基于 RGB、光流或关键点数据类型对时空特征进行建模。然而,同时使用时间性以及这些数据类型会显著增加计算复杂度。我们的假设是,仅使用无时间性的 RGB 数据,便能以可忽略的精度损失维持性能。为此,我们提出了一种用于排球视频的新型 GAR 技术 DECOMPL,其由两条互补分支组成。在视觉分支中,它以选择性方式利用注意力池化提取特征。在坐标分支中,它考虑参与者的当前配置并从边界框坐标中提取空间信息。此外,我们分析了近期文献主要基于的 Volleyball 数据集,意识到其标注方案将活动中的群体概念降级到了个体参与者层面。我们以系统性方式手动重新标注了该数据集以强调群体概念。在 Volleyball 以及 Collective Activity(来自另一领域,即非排球)数据集上的实验结果表明了所提模型 DECOMPL 的有效性,在使用重新标注/原始标注的可比最先进(sota)技术中取得了最佳/次佳 GAR 性能。我们的代码、结果和新标注将在修订过程后通过 GitHub 提供。
引用
@article{arxiv.2303.06439,
title = {DECOMPL: Decompositional Learning with Attention Pooling for Group Activity Recognition from a Single Volleyball Image},
author = {Berker Demirel and Huseyin Ozkan},
journal= {arXiv preprint arXiv:2303.06439},
year = {2023}
}