通过从非目标类中学习提升半监督时序动作定位
计算机视觉与模式识别
2024-03-19 v1
摘要
半监督时序动作定位（SS-TAL）的关键在于从大量未标注视频中挖掘有价值的信息。然而，当前方法主要集中于构建对易出错目标类（即具有最高置信度的预测类）具有鲁棒性的模型，而忽略了非目标类中的信息语义。本文从新视角切入SS-TAL，倡导从非目标类中学习，超越仅关注目标类的传统焦点。所提方法将预测类分布的标签空间划分为不同的子空间：目标类、正类、负类和模糊类，旨在挖掘目标类中缺失的正语义和负语义，同时排除模糊类。为此，我们首先设计创新策略，通过将一个类的置信度和排名相对于目标类进行建模，从标签空间中自适应地选择高质量的正类和负类。然后，我们引入新颖的正损失和负损失来指导学习过程，推动预测靠近正类并远离负类。最后，正过程和负过程被整合到一个混合正负学习框架中，促进在已标注和未标注视频中对非目标类的利用。在THUMOS14和ActivityNet v1.3上的实验结果证明了所提方法优于先前最先进的方法。
引用
@article{arxiv.2403.11189,
title = {Boosting Semi-Supervised Temporal Action Localization by Learning from Non-Target Classes},
author = {Kun Xia and Le Wang and Sanping Zhou and Gang Hua and Wei Tang},
journal= {arXiv preprint arXiv:2403.11189},
year = {2024}
}