$L_1$ 正则化在两层神经网络中的有效性
机器学习
2020-10-05 v1 机器学习
摘要
神经网络中的一个关键问题是选择最恰当的隐藏神经元数量并获得紧的统计风险界。本工作中，我们针对神经网络中的偏差-方差权衡提出新视角。作为选择神经元数量的替代方案，我们从理论上证明 正则化可控制泛化误差并稀疏化输入维度。特别地，对输出层施加适当的 正则化，网络可产生近极小极大最优的统计风险。此外，对输入层施加适当的 正则化可得到不涉及输入数据维度的风险界。我们的分析基于维度基与范数基复杂度分析的新融合以界定泛化误差。我们结果的一个随之而来的观察是，在适当正则化下，过多数量的神经元未必会放大泛化误差。
引用
@article{arxiv.2010.01048,
title = {The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks},
author = {Gen Li and Yuantao Gu and Jie Ding},
journal= {arXiv preprint arXiv:2010.01048},
year = {2020}
}