自训练的统一对比损失
机器学习
2024-09-12 v1 计算机视觉与模式识别
摘要
自训练方法在半监督学习中已被证明非常有效，尤其是在标注数据稀缺的情况下。虽然许多方法依赖于交叉熵损失函数（CE），但近期进展表明，监督对比损失函数（SupCon）更有效。此外，无监督对比学习方法也被证明能够在无监督环境中捕获高质量的数据表示。为了从这些优势中受益于半监督环境，我们提出了一种通用框架来增强自训练方法，该框架将所有CE损失替换为一种独特的对比损失。通过使用类原型——一组类相关可训练参数，我们恢复了CE设置的概率分布，并显示其与之之间的理论等价性。当应用于流行的自训练方法时，我们的框架在标注数据有限的三个不同数据集上结果显著性能提升。此外，我们展示了在收敛速度、迁移能力和超参数稳定性方面的进一步改进。代码可在\url{https://github.com/AurelienGauffre/semisupcon/}获取。
引用
@article{arxiv.2409.07292,
title = {A Unified Contrastive Loss for Self-Training},
author = {Aurelien Gauffre and Julien Horvat and Massih-Reza Amini},
journal= {arXiv preprint arXiv:2409.07292},
year = {2024}
}