通过样本自适应增强提升半监督学习中的样本利用率
计算机视觉与模式识别
2023-09-08 v1
摘要
在半监督学习（SSL）中，未标记样本可通过增强与一致性正则化加以利用。然而，我们观察到某些样本即使经历强增强，仍被以高置信度正确分类，导致损失接近于零。这表明这些样本已被充分学习，不再为模型提供任何额外的优化收益。我们将这些样本称为“naive samples（朴素样本）”。遗憾的是，现有 SSL 模型忽视了朴素样本的特性，仅对所有样本施加相同的学习策略。为进一步优化 SSL 模型，我们强调关注朴素样本并以更多样方式增强它们的重要性。为此提出样本自适应增强（SAA），其包含两个模块：1）样本选择模块；2）样本增强模块。具体而言，样本选择模块基于每轮的历史训练信息挑出朴素样本，随后朴素样本在样本增强模块中以更多样的方式被增强。得益于上述模块极简的实现难度，SAA 具有简单轻量的优势。我们分别将 SAA 叠加于 FixMatch 与 FlexMatch 之上，实验表明 SAA 能显著提升模型。例如，在 CIFAR-10 仅含 40 个标签时，SAA 将 FixMatch 准确率从 92.50% 提升至 94.76%，将 FlexMatch 从 95.01% 提升至 95.31%。
引用
@article{arxiv.2309.03598,
title = {Enhancing Sample Utilization through Sample Adaptive Augmentation in Semi-Supervised Learning},
author = {Guan Gui and Zhen Zhao and Lei Qi and Luping Zhou and Lei Wang and Yinghuan Shi},
journal= {arXiv preprint arXiv:2309.03598},
year = {2023}
}
备注
Accepted as International Conference on Computer Vision (ICCV) 2023