在含噪标签存在下学会不学习
机器学习
2020-02-18 v1 信息论
math.IT
机器学习
摘要
在标签噪声存在下进行学习是一项具有挑战性却重要的任务：设计在错误标注数据集存在时具有鲁棒性的模型至关重要。在本文中，我们发现一类称为赌徒损失（gambler's loss）的新损失函数在各种 corruption 程度下对标签噪声提供了强鲁棒性。我们表明，使用该损失函数训练会鼓励模型在带噪标签的数据点上“弃权”学习，从而形成一种简单而有效的方法来提升鲁棒性与泛化能力。此外，我们提出该方法的两种实用扩展：1）一种解析早停准则，用于在噪声标签被记忆之前近似停止训练；2）一种无需知晓噪声 corruption 率即可设定超参数的启发式方法。我们通过在与现有基线比较的三个图像与文本分类任务上取得强劲结果，证明了我们方法的有效性。
引用
@article{arxiv.2002.06541,
title = {Learning Not to Learn in the Presence of Noisy Labels},
author = {Liu Ziyin and Blair Chen and Ru Wang and Paul Pu Liang and Ruslan Salakhutdinov and Louis-Philippe Morency and Masahito Ueda},
journal= {arXiv preprint arXiv:2002.06541},
year = {2020}
}