关于训练过程中噪声注入的固有正则化效应
机器学习
2021-02-16 v1 信息论
math.IT
摘要
在训练过程中随机扰动网络是提升泛化性能的常用方法。本文对一种特定随机扰动方式（即向训练数据注入人工噪声）进行理论研究。我们对随机特征模型上此类随机扰动学习问题的训练误差与泛化误差给出精确的渐近刻画。分析表明，当噪声注入次数趋于无穷时，训练过程中的高斯噪声注入等价于引入一种加权岭正则化，并给出该正则化的显式形式。数值结果佐证了我们的渐近预测，显示即便在中等维度下也足够准确。我们的理论预测基于一个新的相关高斯等价猜想，该猜想推广了随机特征模型研究中的近期结果。
引用
@article{arxiv.2102.07379,
title = {On the Inherent Regularization Effects of Noise Injection During Training},
author = {Oussama Dhifallah and Yue M. Lu},
journal= {arXiv preprint arXiv:2102.07379},
year = {2021}
}