自监督学习比监督学习更鲁棒吗？
计算机视觉与模式识别
2022-06-13 v1 机器学习
摘要
自监督对比学习是在无标签情况下学习视觉表示的强大工具。先前工作主要关注评估各种预训练算法的识别精度，却忽视了其他行为方面。除精度外，分布鲁棒性在机器学习模型的可靠性中起着关键作用。我们设计并进行了一系列鲁棒性测试，以量化对比学习与监督学习对下游或预训练数据分布变化的行差异。这些测试在多个层次上利用数据损坏，从像素级伽马失真到块级打乱再到数据集级分布偏移。我们的测试揭示了对比学习和监督学习引人入胜的鲁棒性行为。一方面，在下游损坏下，我们普遍观察到对比学习出奇地比监督学习更鲁棒。另一方面，在预训练损坏下，我们发现对比学习对块打乱和像素强度变化脆弱，但对数据集级分布变化较不敏感。我们试图通过数据增强的作用和特征空间性质来解释这些结果。我们的洞见对提升监督学习的下游鲁棒性具有启示意义。
引用
@article{arxiv.2206.05259,
title = {Is Self-Supervised Learning More Robust Than Supervised Learning?},
author = {Yuanyi Zhong and Haoran Tang and Junkun Chen and Jian Peng and Yu-Xiong Wang},
journal= {arXiv preprint arXiv:2206.05259},
year = {2022}
}