探究对比学习为何有益于标签噪声下的鲁棒性
机器学习
2022-07-06 v4
摘要
自监督对比学习(CL)近来被证明在防止深度网络过拟合噪声标签方面非常有效。尽管取得了经验上的成功，关于对比学习提升鲁棒性作用的理论理解仍十分有限。本工作中，我们严格证明了对比学习学到的表示矩阵通过以下方式提升鲁棒性：(i) 数据中每个子类对应一个显著的奇异值，且其余奇异值显著更小；以及 (ii) 显著奇异向量与每个子类的干净标签之间具有较大对齐度。上述性质使得在此类表示上训练的线性层能够有效学习干净标签而不对噪声过拟合。我们进一步表明，经对比学习预训练的深层网络其雅可比矩阵的低秩结构使它们在以噪声标签微调时初期即可获得优越性能。最后，我们证明对比学习提供的初始鲁棒性使鲁棒训练方法能在极端噪声水平下达到最先进性能，例如，在CIFAR-10与CIFAR-100上含80%对称噪声标签时准确率平均分别提升27.18%与15.58%，在WebVision上准确率提升4.11%。
引用
@article{arxiv.2201.12498,
title = {Investigating Why Contrastive Learning Benefits Robustness Against Label Noise},
author = {Yihao Xue and Kyle Whitecross and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2201.12498},
year = {2022}
}