通过Rockafellian松弛减轻标注错误对训练的影响
机器学习
2025-02-18 v2
摘要
数据集中的标注错误很常见，出现在各种情境中，如人工标注、噪声标注和弱标注（如图像分类）。尽管神经网络可以容忍适度的这些错误，但一旦错误水平超过某个阈值，其性能就会大幅下降。我们提出了一种新的损失重加权、与架构无关的方法——Rockafellian松弛法（RRM）用于神经网络训练。实验表明，RRM可以增强神经网络方法，在计算机视觉和自然语言处理（情感分析）的分类任务中实现稳健的性能。我们发现RRM可以减轻由（重度）标注错误和/或对抗性扰动引起的数据集污染的影响，展示了在多种数据领域和机器学习任务中的有效性。
引用
@article{arxiv.2405.20531,
title = {Mitigating the Impact of Labeling Errors on Training via Rockafellian Relaxation},
author = {Louis L. Chen and Bobbie Chern and Eric Eckstrand and Amogh Mahapatra and Johannes O. Royset},
journal= {arXiv preprint arXiv:2405.20531},
year = {2025}
}