用于弱监督动作识别与检测的 UntrimmedNets

Limin Wang; Yuanjun Xiong; Dahua Lin; Luc Van Gool

用于弱监督动作识别与检测的 UntrimmedNets

计算机视觉与模式识别 2017-05-23 v2

作者: Limin Wang , Yuanjun Xiong , Dahua Lin , Luc Van Gool

摘要

当前的动作识别方法严重依赖已修剪视频进行模型训练。然而，获取大规模已修剪视频数据集昂贵且耗时。本文提出了一种新的弱监督架构，称为 UntrimmedNet，能够直接从未修剪视频中学习动作识别模型，无需动作实例的时间标注。我们的 UntrimmedNet 耦合了两个重要组件：分类模块和选择模块，分别用于学习动作模型和推断动作实例的持续时间。这两个组件由前馈网络实现，因此 UntrimmedNet 是一个端到端可训练的架构。我们在 THUMOS14 和 ActivityNet 未修剪视频数据集上利用所学模型进行动作识别 (WSR) 和检测 (WSD)。尽管我们的 UntrimmedNet 仅采用弱监督，但该方法在这两个数据集上的性能优于或可比于那些强监督方法。

关键词

弱监督学习动作识别动作检测未修剪视频 UntrimmedNet

引用

@article{arxiv.1703.03329,
  title  = {UntrimmedNets for Weakly Supervised Action Recognition and Detection},
  author = {Limin Wang and Yuanjun Xiong and Dahua Lin and Luc Van Gool},
  journal= {arXiv preprint arXiv:1703.03329},
  year   = {2017}
}

备注

camera-ready version to appear in CVPR2017

用于弱监督动作识别与检测的 UntrimmedNets

摘要

关键词

引用

备注

相关论文