用于弱监督时序动作定位的级联金字塔挖掘网络
计算机视觉与模式识别
2018-10-30 v1
摘要
弱监督时序动作定位旨在仅使用训练时的视频级类别标签来在时间上定位未修剪视频中的动作实例，是视频分析中的一个重要且具有挑战性的问题。许多当前方法采用“通过分类进行定位”的框架：先进行视频分类，然后定位对结果贡献最大的时间区域。然而，该框架无法定位完整的动作实例，且很少考虑局部上下文。本文提出一种称为级联金字塔挖掘网络（CPMN）的新架构，利用两个有效模块解决这些问题。首先，为发现特定动作的完整时间区间，我们设计了一个两阶段级联模块，并提出了在线对抗擦除（OAE）机制，通过将已发现区域的特征图擦除后反馈给系统来挖掘新的互补区域。其次，为利用视频中的分层上下文信息并减少漏检，我们设计了一个金字塔模块，通过结合不同层级的特征图生成尺度不变的注意力图。最后，我们聚合两个模块的结果，通过在时间类激活序列（CAS）中定位高分区域来执行动作定位。在 THUMOS14 和 ActivityNet-1.3 数据集上进行的大量实验证明了我们方法的有效性。
引用
@article{arxiv.1810.11794,
title = {Cascaded Pyramid Mining Network for Weakly Supervised Temporal Action Localization},
author = {Haisheng Su and Xu Zhao and Tianwei Lin},
journal= {arXiv preprint arXiv:1810.11794},
year = {2018}
}
备注
Accepted at ACCV 2018