用于弱监督时序动作定位的双流共识网络
计算机视觉与模式识别
2020-10-23 v1
摘要
弱监督时序动作定位 (W-TAL) 旨在仅借助视频级监督对未剪辑视频中的所有动作实例进行分类与定位。然而，若无帧级标注，W-TAL 方法难以识别假阳性动作提议并生成具有精确时间边界的动作提议。本文提出一种双流共识网络 (TSCN) 以同时应对这些挑战。所提 TSCN 具备迭代精炼训练方法，其中帧级伪真值被迭代更新，并用于提供帧级监督以改进模型训练与消除假阳性动作提议。此外，我们提出一种新的注意力归一化损失，以促使预测注意力表现得如同二元选择，并提升动作实例边界的精确定位。在 THUMOS14 与 ActivityNet 数据集上的实验表明，所提 TSCN 优于当前最先进方法，甚至与某些近期全监督方法取得相当结果。
引用
@article{arxiv.2010.11594,
title = {Two-Stream Consensus Network for Weakly-Supervised Temporal Action Localization},
author = {Yuanhao Zhai and Le Wang and Wei Tang and Qilin Zhang and Junsong Yuan and Gang Hua},
journal= {arXiv preprint arXiv:2010.11594},
year = {2020}
}
备注
ECCV 2020 spotlight