基于显著片段特征推断的弱监督时序动作定位
计算机视觉与模式识别
2023-12-27 v3
摘要
弱监督时序动作定位旨在仅以视频级标签作为监督，同时定位未修剪视频中的动作区间并识别动作类别。伪标签生成是解决这一挑战性问题的一种有前景的策略，但现有方法忽略了视频天然的时间结构，而该结构可提供丰富信息以辅助此类生成过程。本文中，我们提出一种基于显著片段特征推断的新型弱监督时序动作定位方法。首先，我们设计了一个显著性推断模块，利用时间相邻片段间的变化关系来发现显著片段特征，其可反映视频中的显著动态变化。其次，我们引入一个边界细化模块，通过信息交互单元增强显著片段特征。然后，引入一个判别性增强模块以提升片段特征的判别性。最后，我们采用细化后的片段特征生成高保真伪标签，用以监督动作定位网络的训练。在 THUMOS14 与 ActivityNet v1.3 两个公开数据集上的大量实验表明，相较 SOTA 方法，我们所提方法取得了显著改进。
引用
@article{arxiv.2303.12332,
title = {Weakly-Supervised Temporal Action Localization by Inferring Salient Snippet-Feature},
author = {Wulian Yun and Mengshi Qi and Chuanming Wang and Huadong Ma},
journal= {arXiv preprint arXiv:2303.12332},
year = {2023}
}
备注
To be published in Thirty-Eighth AAAI Conference on Artificial Intelligence