高斯噪声注入中的显式正则化
机器学习
2021-01-20 v6 机器学习
摘要
我们研究由高斯噪声注入（GNIs）在神经网络中诱导的正则化。尽管此类注入应用于数据时已被广泛研究，但对其应用于网络激活时诱导的正则化效应少有研究。在此我们推导出 GNIs 的显式正则化项，通过对注入噪声边缘化得到，并表明它惩罚在傅里叶域中具有高频分量的函数；尤其是在靠近神经网络输出的层中。我们从分析与经验上表明，此类正则化产生具有大分类间隔的校准分类器。
引用
@article{arxiv.2007.07368,
title = {Explicit Regularisation in Gaussian Noise Injections},
author = {Alexander Camuto and Matthew Willetts and Umut Şimşekli and Stephen Roberts and Chris Holmes},
journal= {arXiv preprint arXiv:2007.07368},
year = {2021}
}