用于半监督学习的对比正则化

标签预测上的一致性正则化已成为半监督学习中的基础技术，但其仍需大量训练迭代才能达到高性能。在本研究中，我们分析了一致性正则化由于模型更新中排除具有不置信伪标签的样本而限制了标注信息的传播。随后，我们提出对比正则化，通过未标注数据的良好聚类特征来提升一致性正则化的效率与精度。具体而言，在强增强样本由其伪标签分配至聚类后，我们的对比正则化更新模型，使具有置信伪标签的特征聚合同一聚类中的特征，同时推远不同聚类中的特征。结果，置信伪标签的信息可通过良好聚类的特征在训练期间有效传播至更多未标注样本。在半监督学习任务基准上，我们的对比正则化改进了先前基于一致性的方法并取得了最先进（SOTA）结果，尤其在更少训练迭代下。我们的方法在包含分布外样本的开放集半监督学习上也展现出鲁棒性能。