面向标签噪声学习的动态感知损失
机器学习
2023-08-08 v3
摘要
标签噪声对深度神经网络（DNNs）构成严重威胁。采用能够兼顾拟合能力与鲁棒性的鲁棒损失函数是一种简单而有效的应对策略。然而，广泛使用的这两因素间的静态权衡与 DNNs 在标签噪声下学习的动态过程相矛盾，导致性能不佳。因此，我们提出一种动态感知损失（DAL）来解决该问题。考虑到 DNNs 倾向于先学习有益模式，随后逐渐过拟合有害的标签噪声，DAL 初期增强拟合能力，然后逐步提升鲁棒性。此外，在后期阶段，为同时进一步降低标签噪声的负面影响并缓解欠拟合，我们让 DNNs 更关注简单样本而非困难样本，并引入一个自举项。详尽的理论分析与广泛的实验结果均证明了我们所提方法的优越性。源代码见 https://github.com/XiuchuanLi/DAL。
引用
@article{arxiv.2303.11562,
title = {Dynamics-Aware Loss for Learning with Label Noise},
author = {Xiu-Chuan Li and Xiaobo Xia and Fei Zhu and Tongliang Liu and Xu-Yao Zhang and Cheng-Lin Liu},
journal= {arXiv preprint arXiv:2303.11562},
year = {2023}
}
备注
accepted by Pattern Recognition Journal