全阶段伪标签质量增强用于弱监督时序动作定位
计算机视觉与模式识别
2024-07-15 v1
摘要
弱监督时序动作定位（WSTAL）旨在仅使用视频级监督信息对未剪辑视频中的动作进行定位。最新的 WSTAL 方法引入了伪标签学习框架，以弥合基于分类的训练与定位推理目标之间的差距，取得了领先成绩。在这些框架中，使用基于分类的模型为基于回归的学生模型生成伪标签。然而，这种框架中伪标签的质量——是最终结果的关键因素——尚未得到充分研究。本文提出一套简单且高效的伪标签质量增强机制，构建我们的 FuSTAL 框架。FuSTAL 在三个阶段增强伪标签质量：在提议生成阶段进行跨视频对比学习，在提议选择阶段进行先验过滤，在训练阶段进行 EMA 基于迁移。在框架不同阶段的这些设计增强了伪标签质量，帮助生成更具信息性、更少错误、更平滑的动作提议。凭借这些在所有阶段的综合设计，FuSTAL 在 THUMOS'14 上实现平均 mAP 为 50.8%，超越前最佳方法 1.2%，成为首个达到 50% 里程碑的方法。
引用
@article{arxiv.2407.08971,
title = {Full-Stage Pseudo Label Quality Enhancement for Weakly-supervised Temporal Action Localization},
author = {Qianhan Feng and Wenshuo Li and Tong Lin and Xinghao Chen},
journal= {arXiv preprint arXiv:2407.08971},
year = {2024}
}