通过弥合伪标签训练-测试鸿沟改进弱监督时序动作定位
计算机视觉与模式识别
2023-04-18 v1
摘要
弱监督时序动作定位任务旨在为感兴趣的动作生成时间边界,同时还需对其动作类别进行分类。基于伪标签的方法作为一种有效解决方案,近年来被广泛研究。然而,现有方法在训练期间生成伪标签、在测试期间于不同流程或设置下做出预测,导致训练与测试之间存在鸿沟。本文提出从预测的动作边界生成高质量伪标签。然而,我们注意到现有的后处理(如NMS)会导致信息损失,不足以生成高质量动作边界。更重要的是,将动作边界转化为伪标签颇具挑战,因为预测的动作实例通常相互重叠且具有不同的置信度分数。此外,生成的伪标签在训练早期可能波动且不准确。若无自我纠正机制,可能会反复强化错误预测。为解决这些问题,我们提出了一种学习更优伪标签的有效流程。首先,我们提出高斯加权融合模块以保留动作实例信息并获得高质量动作边界。其次,我们将伪标签生成表述为在动作实例置信度分数约束下的优化问题。最后,我们引入伪标签的思想,使模型具备自我纠正能力。我们的方法在两个基准THUMOS14和ActivityNet1.3上优于现有方法,平均mAP分别提升1.9%和3.7%。
引用
@article{arxiv.2304.07978,
title = {Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels},
author = {Jingqiu Zhou and Linjiang Huang and Liang Wang and Si Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2304.07978},
year = {2023}
}