中文

桥接弱监督与完全监督:基于 PseudoFormer 的时序动作局部化

计算机视觉与模式识别 2025-04-22 v1 人工智能

摘要

弱监督时序动作局部化 (Weakly-supervised Temporal Action Localization, WTAL) 已取得显著进展,但仍因缺乏时序标注而在性能和框架方面与完全监督方法之间存在差距。虽然最近的研究方法利用伪标签进行训练,但三个关键挑战:生成高质量伪标签、充分利用不同先验、以及针对噪声标签进行训练方法优化,仍未得到解决。基于上述思考,我们提出了 PseudoFormer,一个新型两分支框架,用于桥接弱监督与完全监督的时序动作局部化 (Temporal Action Localization, TAL)。我们首先引入 RickerFusion,将所有预测的动作提案映射到全局共享空间,以生成更高质量的伪标签。随后,我们利用弱分支中的片段级和提案级标签及其不同先验,在完整分支中的回归模型上进行训练。最后,我们应用不确定性掩码和迭代细化机制,以处理噪声伪标签的训练。PseudoFormer 在两个常用基准数据集 THUMOS14 和 ActivityNet1.3 上实现了 state-of-the-art WTAL 结果。此外,大量消融实验表明我们方法的各个组件均有贡献。

关键词

引用

@article{arxiv.2504.14860,
  title  = {Bridge the Gap: From Weak to Full Supervision for Temporal Action Localization with PseudoFormer},
  author = {Ziyi Liu and Yangcen Liu},
  journal= {arXiv preprint arXiv:2504.14860},
  year   = {2025}
}

备注

CVPR 2025: IEEE Conference on Computer Vision and Pattern Recognition