早停神经网络中清洁优先学习现象的出现
机器学习
2023-06-06 v1 机器学习
摘要
当训练数据集中加入随机标签噪声时，神经网络在无标签噪声测试数据集上的预测误差在训练初期随训练时间呈先改善后恶化的U形依赖关系。这种行为被认为是神经网络先学习干净数据的模式、后在训练中拟合噪声所致，我们将此现象称为清洁优先学习（clean-priority learning）。本研究旨在探究该现象背后的学习动态。我们从理论上证明，在训练早期，梯度下降的更新方向由训练数据中的干净子集决定，噪声子集影响极小甚至无影响，从而导致清洁学习的优先性。此外，我们通过理论与实验表明，随着清洁优先学习的进行，干净样本梯度相对于噪声样本梯度的主导性减弱，最终致使清洁优先学习终止并拟合噪声样本。
引用
@article{arxiv.2306.02533,
title = {On Emergence of Clean-Priority Learning in Early Stopped Neural Networks},
author = {Chaoyue Liu and Amirhesam Abedsoltan and Mikhail Belkin},
journal= {arXiv preprint arXiv:2306.02533},
year = {2023}
}