基于代表性片段知识传播的弱监督时序动作定位
计算机视觉与模式识别
2022-03-15 v5
摘要
弱监督时序动作定位旨在仅利用视频级类别标签来定位动作的时间边界并同时识别其类别。许多现有方法试图生成伪标签以弥合分类与定位之间的差异，但通常仅利用有限的上下文信息来生成伪标签。为缓解该问题，我们提出一种代表性片段摘要与传播框架。我们的方法力求在每支视频中挖掘代表性片段，以在视频片段间传播信息从而生成更好的伪标签。对于每支视频，其自身的代表性片段以及来自记忆库的代表性片段以视频内与视频间的方式传播以更新输入特征。伪标签由更新特征的时间类激活图生成，用以修正主分支的预测。我们的方法在两个基准 THUMOS14 和 ActivityNet1.3 上相较现有方法取得了更优性能，在 THUMOS14 上平均 mAP 提升高达 1.2%。
引用
@article{arxiv.2203.02925,
title = {Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation},
author = {Linjiang Huang and Liang Wang and Hongsheng Li},
journal= {arXiv preprint arXiv:2203.02925},
year = {2022}
}
备注
Accepted by CVPR 2022. Code is available at https://github.com/LeonHLJ/RSKP