面向有限标注的微动作识别:一种异步伪标签与训练方法
计算机视觉与模式识别
2025-04-11 v1
摘要
微动作识别(MAR)旨在对视频中细微的人类动作进行分类。然而,由于动作的细微性,标注 MAR 数据集尤其具有挑战性。为此,我们引入了半监督 MAR(SSMAR)设定,其中仅部分样本被标注。我们首先将传统的半监督学习(SSL)方法应用于 SSMAR 并发现,这些方法倾向于对不准确的伪标签过拟合,导致误差累积与性能下降。这一问题主要源于直接将分类器的预测作为伪标签来训练模型的常见做法。为解决该问题,我们提出了一种称为异步伪标签与训练(APLT)的新框架,显式地将伪标签生成过程与模型训练分离开。具体而言,我们在离线伪标签阶段引入半监督聚类方法以生成更准确的伪标签。此外,我们提出了一种自适应阈值化策略,以动态过滤不同类别的噪声标签。随后,我们基于过滤后的伪标签构建基于记忆库的原型分类器,该分类器固定不变并用于指导后续的模型训练阶段。通过以异步方式交替进行两个伪标签与模型训练阶段,模型不仅能利用更准确的伪标签进行学习,还能避免过拟合问题。在三个 MAR 数据集上的实验表明,我们的 APLT 大幅优于现有最优的 SSL 方法。例如,在仅使用 50% 标注数据的 MA-12 数据集上,APLT 相比 FixMatch 将准确率提升了 14.5%。代码将公开发布。
引用
@article{arxiv.2504.07785,
title = {Towards Micro-Action Recognition with Limited Annotations: An Asynchronous Pseudo Labeling and Training Approach},
author = {Yan Zhang and Lechao Cheng and Yaxiong Wang and Zhun Zhong and Meng Wang},
journal= {arXiv preprint arXiv:2504.07785},
year = {2025}
}