从噪声纠正的角度重新思考基于伪标签的弱监督时序动作局部化
计算机视觉与模式识别
2025-05-01 v2
摘要
伪标签学习方法在弱监督时序动作局部化中得到了广泛应用。现有工作直接利用弱监督基模型生成用于训练全监督检测头的实例级伪标签。我们认为，伪标签中的噪声会干扰全监督检测头的学习，导致显著的性能泄漏。噪声标签的问题包括：(1)边界定位不准确；(2)未检测到的短动作片段；(3)多个相邻片段被错误地检测为一个片段。为了针对这些问题，我们引入一种两阶段噪声标签学习策略，以发掘伪标签中每一潜在有用的信号。首先，我们提出一种基于上下文感知去噪算法的帧级伪标签生成模型，以细化边界。其次，我们引入一种在线修订的教师-学生框架，包含缺失实例补偿模块和歧义实例纠正模块，以解决短动作缺失和多对一问题。此外，我们在在线修订的教师-学生框架中应用高质量伪标签矢量化损失，以对不同噪声标签赋予不同权重，从而更有效地训练。我们的模型在THUMOS14和ActivityNet v1.2基准测试中在检测准确率和推理速度方面均显著优于以前的状态-of-the-art方法。
引用
@article{arxiv.2501.11124,
title = {Rethinking Pseudo-Label Guided Learning for Weakly Supervised Temporal Action Localization from the Perspective of Noise Correction},
author = {Quan Zhang and Yuxin Qi and Xi Tang and Rui Yuan and Xi Lin and Ke Zhang and Chun Yuan},
journal= {arXiv preprint arXiv:2501.11124},
year = {2025}
}