哪些策略对噪声标签分类至关重要？基于损失与不确定性的洞察
机器学习
2020-08-17 v1 机器学习
摘要
标签噪声是降低深度神经网络泛化性能的关键因素，从而在现实问题中引发严重隐患。现有研究采用基于损失或不确定性的策略来处理噪声标签，但矛盾的是，某些策略相互抵触：强调或丢弃不确定样本，或聚焦于高损失或低损失样本。为阐明对立策略如何提升模型性能并为噪声标签训练提供洞察，我们给出了关于样本损失与不确定性值在训练过程中如何变化的分析结果。基于该深入分析，我们设计了一种新的鲁棒训练方法，利用损失与不确定性强调干净且具信息量的样本，同时将噪声的影响最小化。我们在合成与真实世界数据集上针对多种深度学习模型进行了大量实验，证明了方法的有效性。结果表明，我们的方法显著优于其他最先进（SOTA）方法，且可普遍用于不同神经网络架构。
引用
@article{arxiv.2008.06218,
title = {Which Strategies Matter for Noisy Label Classification? Insight into Loss and Uncertainty},
author = {Wonyoung Shin and Jung-Woo Ha and Shengzhe Li and Yongwoo Cho and Hoyean Song and Sunyoung Kwon},
journal= {arXiv preprint arXiv:2008.06218},
year = {2020}
}