用于群体活动识别的多层级序列 GAN

Harshala Gammulle; Simon Denman; Sridha Sridharan; Clinton Fookes

用于群体活动识别的多层级序列 GAN

计算机视觉与模式识别 2018-12-19 v1

作者: Harshala Gammulle , Simon Denman , Sridha Sridharan , Clinton Fookes

摘要

我们提出一种新颖的半监督多层级序列生成对抗网络（MLS-GAN）架构，用于群体活动识别。与以往利用人工标注的个体人类动作预测的工作不同，我们让模型学习自身的内部表示，以发现有助于最终群体活动识别任务的相关子活动。生成器接收人物级与场景级特征，并通过 LSTM 网络进行时间映射。基于动作的特征融合通过新颖的门控融合单元执行，该单元能够考虑长期依赖，探索所有个体动作间的关系，从而学习当前群体活动的中间表示或“动作编码”。该网络通过同时进行群体动作分类与对抗式真/假验证来实现其半监督特性。我们对不同架构变体进行了广泛评估，以证明所提架构的重要性。此外，我们表明利用人物级与场景级特征比仅使用人物级特征更能促进群体活动预测。我们所提架构在 Volleyball 与 Collective Activity 数据集上超越了当前最先进的体育与行人分类任务结果，展现出其在有效学习群体活动方面的灵活特性。

关键词

群体活动识别生成对抗网络半监督学习 LSTM 特征融合多层级序列

引用

@article{arxiv.1812.07124,
  title  = {Multi-Level Sequence GAN for Group Activity Recognition},
  author = {Harshala Gammulle and Simon Denman and Sridha Sridharan and Clinton Fookes},
  journal= {arXiv preprint arXiv:1812.07124},
  year   = {2018}
}

备注

Published in ACCV 18

用于群体活动识别的多层级序列 GAN

摘要

关键词

引用

备注

相关论文