并非所有标签生而平等：通过标签分组与协同训练增强半监督学习
计算机视觉与模式识别
2021-04-13 v1 机器学习
摘要
伪标签是半监督学习（SSL）的关键组成部分。它依赖于迭代地使用模型为无标签数据生成人工标签以进行训练。其各种方法的一个共同特性是仅依靠模型预测来做标注决策，而不考虑关于各类之间视觉相似性的任何先验知识。在本文中，我们证明这会降低伪标签的质量，因为它在伪标签数据池中 poorly 代表了视觉相似的类。我们提出 SemCo，一种利用标签语义与协同训练来解决此问题的方法。我们用类标签的两种不同视图训练两个分类器：一个分类器使用标签的独热视图并忽略类间任何潜在相似性，另一个使用标签的分布式视图并将潜在相似类分组在一起。然后我们协同训练两个分类器以基于它们的分歧进行学习。我们表明，我们的方法在各种半监督学习任务上取得了最先进的性能，包括在 Mini-ImageNet 数据集上以 1000 个有标签样本实现 5.6% 的准确率提升。我们还表明，我们的方法需要更小的批大小与更少的训练迭代次数即可达到最佳性能。我们的代码发布于 https://github.com/islam-nassar/semco。
引用
@article{arxiv.2104.05248,
title = {All Labels Are Not Created Equal: Enhancing Semi-supervision via Label Grouping and Co-training},
author = {Islam Nassar and Samitha Herath and Ehsan Abbasnejad and Wray Buntine and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2104.05248},
year = {2021}
}
备注
Accepted in CVPR2021