基于渐进互补学习的弱监督时序动作定位
计算机视觉与模式识别
2024-09-09 v2
摘要
弱监督时序动作定位（WSTAL）旨在仅利用视频级类别标签，在长未裁剪视频中定位并分类动作实例。由于缺乏用于指示动作边界的片段级监督，先前方法通常为未标注片段分配伪标签。然而，由于不同类别的某些动作实例在视觉上相似，为片段确切标注（通常）单一动作类别并非易事，且不正确的伪标签会损害定位性能。为解决这个问题，我们从类别排斥视角提出一种称为渐进互补学习（ProCL）的新方法，逐步增强片段级监督。我们的方法受如下事实启发：视频级标签精确指示了所有片段必定不属于的类别，而这一点被先前工作忽略。据此，我们首先通过互补学习损失排除这些必定不存在的类别。然后，我们引入背景感知伪互补标注，以对歧义较小的片段排除更多类别。此外，对于其余歧义片段，我们尝试通过区分前景动作与背景来降低歧义。大量实验结果表明，我们的方法在两个流行基准 THUMOS14 与 ActivityNet1.3 上取得了新的 SOTA 性能。
引用
@article{arxiv.2206.11011,
title = {Weakly-Supervised Temporal Action Localization by Progressive Complementary Learning},
author = {Jia-Run Du and Jia-Chang Feng and Kun-Yu Lin and Fa-Ting Hong and Xiao-Ming Wu and Zhongang Qi and Ying Shan and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2206.11011},
year = {2024}
}