标签噪声在特征学习过程中的作用
机器学习
2025-05-27 v1 机器学习
摘要
带有噪声标签的深度学习 presents significant challenges。本 work 从特征学习视角对标签噪声进行理论 characterization。具体而言，我们考虑信号-噪声数据分布，其中每个样本由标签相关信号和标签独立噪声组成，并严格分析了在该数据设置下、伴随标签噪声的两层卷积神经网络的训练动力学。我们的分析识别出两个关键阶段。在阶段 I 中，模型完美拟合所有干净样本（即无标签噪声的样本），同时忽略噪声样本（即有标签噪声的样本）。在此阶段，模型从干净样本中学习信号，这在 unseen 数据上具有良好的泛化性。在阶段 II 中，随着训练损失收敛，噪声方向的梯度超过信号的梯度，导致对噪声样本的过拟合。最终，模型记住噪声样本中存在的噪声并降低其泛化能力。此外，我们的分析为处理标签噪声的两种广泛使用技术（早期停止和样本选择）提供了理论依据。在合成和真实世界 setup 的实验中验证了我们的理论。
引用
@article{arxiv.2505.18909,
title = {On the Role of Label Noise in the Feature Learning Process},
author = {Andi Han and Wei Huang and Zhanpeng Zhou and Gang Niu and Wuyang Chen and Junchi Yan and Akiko Takeda and Taiji Suzuki},
journal= {arXiv preprint arXiv:2505.18909},
year = {2025}
}
备注
Accepted to ICML 2025