Leaky ReLU 对过参数化网络训练和泛化的影响
机器学习
2024-02-27 v3
摘要
我们研究了具有广泛类别的 Leaky 修正线性单元 (ReLU) 函数的过参数化神经网络 (NNs) 的训练误差和泛化误差。具体而言，我们仔细确定了此类 NNs 训练误差收敛速率和泛化误差的上界，并研究了这些界对 Leaky ReLU 参数 的依赖性。我们表明，（对应于绝对值激活函数）对于训练误差界是最优的。此外，在特定设置下，它对于泛化误差界也是最优的。数值实验在经验上支持了由理论指导的实际选择。
引用
@article{arxiv.2402.11942,
title = {The effect of Leaky ReLUs on the training and generalization of overparameterized networks},
author = {Yinglong Guo and Shaohan Li and Gilad Lerman},
journal= {arXiv preprint arXiv:2402.11942},
year = {2024}
}