用于弱监督多动作检测的分隔时序组装循环网络
计算机视觉与模式识别
2018-11-20 v1
摘要
本文提出一种用于弱监督多动作检测的分隔时序组装循环（STAR）网络。该模型仅以视频级标签为监督从未裁剪视频中学习，并预测多个动作的时间区间。具体而言，我们首先通过注意力机制依据类别标签组装视频片段，该机制学习类别可变注意力权重，从而有助于缓解来自背景或其他动作的噪声。其次，我们将组装后的特征输入增强型循环神经网络以建立动作间的时序关系。最后，我们将循环神经网络的输出转换为相应的动作分布。为生成更精确的时间提议，我们设计了一个称为分隔时序梯度加权类激活映射（ST-GradCAM）的得分项，并与注意力权重相融合。在 THUMOS'14 与 ActivityNet1.3 数据集上的实验表明，我们的方法优于当前最优的弱监督方法，并与全监督对应方法表现相当。
引用
@article{arxiv.1811.07460,
title = {Segregated Temporal Assembly Recurrent Networks for Weakly Supervised Multiple Action Detection},
author = {Yunlu Xu and Chengwei Zhang and Zhanzhan Cheng and Jianwen Xie and Yi Niu and Shiliang Pu and Fei Wu},
journal= {arXiv preprint arXiv:1811.07460},
year = {2018}
}
备注
Accepted to Proc. AAAI Conference on Artificial Intelligence 2019