基于动态样本重加权的噪声鲁棒双向学习
机器学习
2022-09-07 v1 人工智能
摘要
以标准交叉熵损失训练的深层神经网络更易记忆噪声标签，从而降低其性能。使用互补标签的负学习在噪声标签介入时更具鲁棒性，但模型收敛速度极慢。本文首先引入一种双向学习方案，其中正学习保证收敛速度，而负学习鲁棒应对标签噪声。进一步，提出动态样本重加权策略，通过利用负学习在样本概率分布上的优异判别能力，从全局上削弱噪声标签样本的影响。此外，我们结合自蒸馏以进一步提升模型性能。代码见\url{https://github.com/chenchenzong/BLDR}。
引用
@article{arxiv.2209.01334,
title = {Noise-Robust Bidirectional Learning with Dynamic Sample Reweighting},
author = {Chen-Chen Zong and Zheng-Tao Cao and Hong-Tao Guo and Yun Du and Ming-Kun Xie and Shao-Yuan Li and Sheng-Jun Huang},
journal= {arXiv preprint arXiv:2209.01334},
year = {2022}
}