用于弱监督团体活动识别的流动辅助运动学习网络
计算机视觉与模式识别
2024-05-29 v1 图像与视频处理
摘要
弱监督团体活动识别（WSGAR）旨在了解由一组个体共同执行的活动，仅使用视频级别标签且不使用行为级别标签。我们提出了流动辅助运动学习网络（Flaming-Net）用于 WSGAR，由用于提取行为特征的运动感知行为编码器和用于推断行为之间相互作用的两条路径关系模块组成。Flaming-Net 利用额外的光流模态在训练阶段增强其运动感知能力，以便找到局部活跃行为。关系模块的第一条路径——行为中心路径——最初捕获单个行为的时间动态，然后构建行为之间的相互作用。在平行时，群体中心路径首先在同一时间框架内构建行为之间的空间连接，然后捕获它们之间的同步时空动态。我们展示了 Flaming-Net 在两个基准数据集上实现了新的状态-of-the-art WSGAR 结果，包括在 NBA 数据集上 MPCA 分数提高了 2.8%p。重要的是，我们仅在训练时使用光流模态而不在推断时使用。
引用
@article{arxiv.2405.18012,
title = {Flow-Assisted Motion Learning Network for Weakly-Supervised Group Activity Recognition},
author = {Muhammad Adi Nugroho and Sangmin Woo and Sumin Lee and Jinyoung Park and Yooseung Wang and Donguk Kim and Changick Kim},
journal= {arXiv preprint arXiv:2405.18012},
year = {2024}
}