具有阈值与 ReLU 激活的神经网络的记忆容量
机器学习
2020-06-04 v2 信息论
神经与进化计算
math.IT
机器学习
摘要
压倒性的理论与经验证据表明，轻度过参数化神经网络——即连接数多于训练数据规模的网络——通常能够以 100% 的准确率记住训练数据。这一现象已对具有 sigmoid 激活函数的网络以及（在最近）对 ReLU 激活得到严格证明。针对 Baum 于 1988 年提出的开放问题，我们证明该现象对一般多层感知机成立，即具有阈值激活函数或任意阈值与 ReLU 激活混合的神经网络。我们的构造是概率性的，并利用了稀疏性。
引用
@article{arxiv.2001.06938,
title = {Memory capacity of neural networks with threshold and ReLU activations},
author = {Roman Vershynin},
journal= {arXiv preprint arXiv:2001.06938},
year = {2020}
}
备注
26 pages. Minor inaccuracies corrected, discussion of prior work expanded