用于弱监督时间动作定位的自适应互监督方法
计算机视觉与模式识别
2021-04-07 v1 人工智能
摘要
弱监督时间动作定位旨在仅利用视频级动作类别标签在未裁剪视频中定位动作。以往多数方法忽视类激活序列（CAS）的不完整性，导致定位结果琐碎。为解决此问题，我们引入一个带两个分支的自适应互监督框架（AMS），其中基础分支采用CAS定位最具判别性的动作区域，而补充分支通过一种新颖的自适应采样器定位判别性较弱的动作区域。该自适应采样器以与基础分支CAS负相关的采样权重序列动态更新补充分支的输入，从而促使补充分支定位被基础分支低估的动作区域。为促进两分支间的相互增强，我们构建互定位监督：每个分支利用另一分支生成的定位伪标签作为定位监督。通过在多次迭代中交替优化两分支，我们逐步补全动作区域。在THUMOS14与ActivityNet1.2上的大量实验表明，所提AMS方法显著优于当前最优方法。
引用
@article{arxiv.2104.02357,
title = {Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization},
author = {Chen Ju and Peisen Zhao and Siheng Chen and Ya Zhang and Xiaoyun Zhang and Qi Tian},
journal= {arXiv preprint arXiv:2104.02357},
year = {2021}
}