通过控制神经网络权重中的标签噪声信息改善泛化
机器学习
2020-11-23 v2 机器学习
摘要
在存在噪声或错误标签的情况下,神经网络具有记忆噪声信息的不良倾向。dropout、权重衰减或数据增强等标准正则化技术有时有所帮助,但无法阻止该行为。若将神经网络权重视为依赖于数据与训练随机性的随机变量,则记忆的信息量可用给定输入下权重与全部训练标签向量之间的 Shannon 互信息 来量化。我们证明,对任何训练算法,该项的低值对应于标签噪声记忆的减少与更好的泛化界。为获得这些低值,我们提出采用一个辅助网络在不访问标签的情况下预测分类器最终层的梯度之训练算法。我们在受多种噪声模型污染的 MNIST、CIFAR-10、CIFAR-100 版本以及具有噪声标签的大规模数据集 Clothing1M 上展示了我们方法的有效性。
引用
@article{arxiv.2002.07933,
title = {Improving Generalization by Controlling Label-Noise Information in Neural Network Weights},
author = {Hrayr Harutyunyan and Kyle Reing and Greg Ver Steeg and Aram Galstyan},
journal= {arXiv preprint arXiv:2002.07933},
year = {2020}
}
备注
ICML, 2020