特征噪声在标签噪声下提升深度神经网络泛化能力
机器学习
2023-08-04 v1
摘要
训练数据中的标签噪声对深度神经网络(DNNs)的泛化能力有深远影响。本研究提出并从理论上证明一种简单的特征噪声方法,即直接向训练数据特征添加噪声,可增强标签噪声下 DNNs 的泛化能力。具体而言,我们通过理论分析揭示:标签噪声通过放松 PAC-Bayes 泛化界削弱 DNN 泛化,而特征噪声通过对模型权重与特征间互信息施加上界来约束 PAC-Bayes 泛化界,从而带来更好的 DNN 泛化。此外,为保障标签噪声存在时 DNN 的有效泛化,我们开展应用分析以确定添加何种最优类型与程度的特征噪声,从而获得理想的标签噪声泛化。最后,在多个流行数据集上的大量实验结果表明,该特征噪声方法能显著提升当前最优标签噪声方法的标签噪声泛化能力。
引用
@article{arxiv.2308.01609,
title = {Feature Noise Boosts DNN Generalization under Label Noise},
author = {Lu Zeng and Xuan Chen and Xiaoshuang Shi and Heng Tao Shen},
journal= {arXiv preprint arXiv:2308.01609},
year = {2023}
}