分布偏移下对比学习与自训练的互补增益
机器学习
2023-12-07 v1 计算机视觉与模式识别
机器学习
摘要
自训练和对比学习已成为整合无标签数据的主流技术，无论是在分布偏移（无监督领域自适应）还是无偏移（半监督学习）场景下。然而，尽管这两种技术广受欢迎且相互兼容，二者结合使用的效果却尚未被探索。本文对这一组合进行了系统的实证研究，发现：(i) 在领域自适应场景中，自训练与对比学习提供了显著的互补增益；(ii) 在半监督学习场景中，令人意外的是，二者的增益并不协同。在八个分布偏移数据集（如 BREEDs、WILDS）上，我们证明组合方法比单独使用任一方法可获得 3-8% 的准确率提升。随后，我们在一个简化的分布偏移模型中理论分析了这些技术，展示了对比学习产生的特征能够为自训练提供良好初始化，从而进一步放大增益并达到最优性能的场景，即使单独使用任一方法均会失败。
引用
@article{arxiv.2312.03318,
title = {Complementary Benefits of Contrastive Learning and Self-Training Under Distribution Shift},
author = {Saurabh Garg and Amrith Setlur and Zachary Chase Lipton and Sivaraman Balakrishnan and Virginia Smith and Aditi Raghunathan},
journal= {arXiv preprint arXiv:2312.03318},
year = {2023}
}
备注
NeurIPS 2023