面向半监督动作识别的跨模型伪标注
计算机视觉与模式识别
2022-04-19 v2
摘要
由于数据标注成本高，半监督动作识别是一项具挑战性但重要的任务。该问题的常见方法是为无标签数据分配伪标签，并将其作为训练中的额外监督。近期工作典型地通过在标注数据上训练模型，然后利用模型的置信预测来自我教导而获得伪标签。本工作中，我们提出一种更有效的伪标注方案，称为跨模型伪标注（CMPL）。具体而言，我们在主骨干网络之外引入一个轻量辅助网络，并让它们相互预测伪标签。我们观察到，由于结构偏置不同，这两个模型倾向于从同一视频片段中学习互补表示。因此每个模型均可利用跨模型预测作为监督而从其对应方获益。在不同数据划分协议上的实验证明了我们的框架相较现有方案显著提升。例如，CMPL在仅使用RGB模态和1%标注数据时，于Kinetics-400和UCF-101上分别取得17.6%和25.1%的Top-1准确率，优于基线模型FixMatch达9.0%和10.3%。
引用
@article{arxiv.2112.09690,
title = {Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition},
author = {Yinghao Xu and Fangyun Wei and Xiao Sun and Ceyuan Yang and Yujun Shen and Bo Dai and Bolei Zhou and Stephen Lin},
journal= {arXiv preprint arXiv:2112.09690},
year = {2022}
}
备注
CVPR 2022 camera-ready, Project webpage: https://justimyhxu.github.io/projects/cmpl/