面向标签噪声的对比表示需要微调
机器学习
2021-08-23 v1 计算机视觉与模式识别
摘要
本文中我们表明，将对比表示（Contrastive representation）与标签噪声鲁棒分类头相结合，需要微调该表示才能取得最先进（state-of-the-art）性能。由于微调后的表示被证明优于冻结的表示，可以得出结论：若提供合适的起点，噪声鲁棒分类头确实能够促进有意义的表示。我们进行了实验，以涵盖六种方法与三类（无、对称、非对称）共九种噪声实例来绘制全面的性能图景。在存在噪声的情况下，实验表明对比表示的微调使六种方法取得优于端到端学习的结果，并相对于近期最先进水平构成新的参照。结果相对于噪声水平也异常稳定。
引用
@article{arxiv.2108.09154,
title = {Contrastive Representations for Label Noise Require Fine-Tuning},
author = {Pierre Nodet and Vincent Lemaire and Alexis Bondu and Antoine Cornuéjols},
journal= {arXiv preprint arXiv:2108.09154},
year = {2021}
}