用于弱监督时序动作定位的对抗式种子序列生长
计算机视觉与模式识别
2019-08-08 v1
摘要
时序动作定位因其多种应用而重要且具有挑战性。由于未修剪视频的帧级或段级标注需要大量人工支出，弱监督动作检测的研究正在涌现。然而，现有多数框架依赖类激活序列（CAS）通过最小化视频级分类损失来定位动作，其利用了动作最具判别性的部分而忽略了次要区域。在本文中，我们提出一种新颖的弱监督框架，通过对两个模块进行对抗学习来消除此类缺陷。具体而言，第一个模块被设计为精心设计的种子序列生长（SSG）网络，用于逐步将种子区域（即由基于CAS的框架初始化的高可靠区域）扩展至其预期边界。第二个模块是一个特定的分类器，用于在擦除SSG激活的种子区域后的共享特征上挖掘琐碎或不完整的动作区域。以此方式，由这两个模块组成的整个网络可以以对抗方式进行训练。对抗的目标是挖掘对动作分类器困难的特征。即，来自SSG的擦除将迫使分类器在输入特征序列上发现次要甚至新的动作区域，而分类器将驱动种子交替生长。最终，我们可以从训练良好的SSG和分类器获得动作位置与类别。在两个公开基准THUMOS'14和ActivityNet1.3上的大量实验表明，与最先进方法相比，我们提出的方法具有令人印象深刻的性能。
引用
@article{arxiv.1908.02422,
title = {Adversarial Seeded Sequence Growing for Weakly-Supervised Temporal Action Localization},
author = {Chengwei Zhang and Yunlu Xu and Zhanzhan Cheng and Yi Niu and Shiliang Pu and Fei Wu and Futai Zou},
journal= {arXiv preprint arXiv:1908.02422},
year = {2019}
}
备注
To be appeared in ACM MM2019