FreeMatch：用于半监督学习的自适应阈值方法
机器学习
2023-02-01 v3 计算机视觉与模式识别
摘要
半监督学习（SSL）因基于伪标记与一致性正则化的各类方法所带来的优异性能而取得巨大成功。然而，我们认为现有方法可能未能更有效地利用无标签数据，因为它们要么使用预定义/固定阈值，要么使用特设的阈值调整方案，导致性能不佳与收敛缓慢。我们首先分析一个动机示例，以获得关于理想阈值与模型学习状态之间关系的直观认识。基于该分析，我们提出 FreeMatch，根据模型的学习状态以自适应方式调整置信度阈值。我们进一步引入自适应类别公平正则化惩罚，以鼓励模型在训练早期阶段作出多样化预测。大量实验表明 FreeMatch 的优越性，尤其在标签数据极稀少时。在 CIFAR-10 每类 1 个标签、STL-10 每类 4 个标签、ImageNet 每类 100 个标签上，FreeMatch 相较最新最优方法 FlexMatch 分别实现了 5.78%、13.59% 和 1.28% 的错误率降低。此外，FreeMatch 还能提升不平衡 SSL 的性能。代码见 https://github.com/microsoft/Semi-supervised-learning。
引用
@article{arxiv.2205.07246,
title = {FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning},
author = {Yidong Wang and Hao Chen and Qiang Heng and Wenxin Hou and Yue Fan and Zhen Wu and Jindong Wang and Marios Savvides and Takahiro Shinozaki and Bhiksha Raj and Bernt Schiele and Xing Xie},
journal= {arXiv preprint arXiv:2205.07246},
year = {2023}
}
备注
Accepted by ICLR 2023. Code: https://github.com/microsoft/Semi-supervised-learning