用于带噪标签学习的规则截断 M-估计器
机器学习
2023-09-06 v1 人工智能
摘要
样本选择方法在带噪标签学习中非常流行。由于深度网络优先学习模式，基于样本选择的已有方法共享相似的训练流程：小损失样本可视为干净样本并用于辅助泛化，而大损失样本被视为错标样本并从网络参数更新中排除。然而，该流程从两方面来看值得商榷：(a) 其未考虑所选小损失样本中噪声标签的不良影响；(b) 其未充分利用被丢弃的大损失样本，这些样本可能是干净的或含有助于泛化的有意义信息。本文中，我们提出规则截断 M-估计器(RTME)以同时解决上述两个问题。具体而言，RTME 可在截断 M-估计器与原生 M-估计器之间交替切换模式。前者能在不知晓噪声率的情况下自适应选择小损失样本并降低其中噪声标签的副作用。后者使可能干净但具有大损失的样本参与进来以辅助泛化。理论上，我们证明了我们的策略对标签噪声具有容忍性。在实验上，综合实验结果表明我们的方法优于多个基线方法，并对广泛的噪声类型与噪声水平具有鲁棒性。
引用
@article{arxiv.2309.00894,
title = {Regularly Truncated M-estimators for Learning with Noisy Labels},
author = {Xiaobo Xia and Pengqian Lu and Chen Gong and Bo Han and Jun Yu and Jun Yu and Tongliang Liu},
journal= {arXiv preprint arXiv:2309.00894},
year = {2023}
}
备注
16 pages, 11 tables, 9 figures