稀疏神经网络的非凸正则化
最优化与控制
2022-06-01 v2 机器学习
机器学习
摘要
使用无限神经元字典的凸 正则化已被提出用于构建具有期望逼近保证的神经网络，但可能受到任意程度的过参数化影响。这可能导致稀疏性丧失，并产生对给定数据而言活跃神经元过多的网络，特别是在数据样本数量很大时。作为补救，本文在浅层ReLU网络的背景下研究了一种非凸正则化方法：我们证明，与凸方法相反，任何得到的（局部最优）网络即使是面对无限数据（即，如果已知数据分布并考虑无限样本的极限情况）也是有限的。此外，我们表明有限数据下的逼近保证和现有的网络规模界限得以保持。
引用
@article{arxiv.2004.11515,
title = {Nonconvex regularization for sparse neural networks},
author = {Konstantin Pieper and Armenak Petrosyan},
journal= {arXiv preprint arXiv:2004.11515},
year = {2022}
}