逐样本梯度正则化改善来自噪声数据的学习信号
机器学习
2023-04-03 v1 机器学习
摘要
如barrett2021implicit所述，梯度正则化是一种在梯度下降过程中促进平坦极小值的高度有效技术。经验证据表明，该正则化技术能显著增强深度学习模型对噪声扰动的鲁棒性，同时降低测试误差。本文中，我们探究逐样本梯度正则化（PEGR），并给出理论分析，证明其能有效改善测试误差与抗噪声扰动鲁棒性。具体地，我们采用cao2022benign中的信号-噪声数据模型，表明PEGR能有效学习信号并抑制噪声。相比之下，标准梯度下降难以区分信号与噪声，导致次优泛化性能。我们的分析揭示，PEGR惩罚模式学习的方差，从而有效抑制对训练数据中噪声的过拟合记忆。这些发现凸显了方差控制在深度学习训练中的重要性，并为开发更有效的训练方法提供了有益见解。
引用
@article{arxiv.2303.17940,
title = {Per-Example Gradient Regularization Improves Learning Signals from Noisy Data},
author = {Xuran Meng and Yuan Cao and Difan Zou},
journal= {arXiv preprint arXiv:2303.17940},
year = {2023}
}