标签噪声学习中我们是否需要惩罚损失方差？
机器学习
2022-02-01 v1 机器学习
摘要
最小化平均损失的算法已被广泛设计用于处理噪声标签。直观上，在有限训练样本下，惩罚损失方差将提升算法的稳定性与泛化能力。有趣的是，我们发现对于标签噪声学习问题，方差应当被增大。具体而言，增大方差会增强记忆效应并降低错误标签的有害性。通过利用标签噪声转移矩阵，可轻松设计正则化项来减小损失方差，并嵌入许多现有算法中。经验上，所提通过增大损失方差的方法在合成与真实世界数据集上显著提升了基线的泛化能力。
引用
@article{arxiv.2201.12739,
title = {Do We Need to Penalize Variance of Losses for Learning with Label Noise?},
author = {Yexiong Lin and Yu Yao and Yuxuan Du and Jun Yu and Bo Han and Mingming Gong and Tongliang Liu},
journal= {arXiv preprint arXiv:2201.12739},
year = {2022}
}