两层神经网络记忆化所需的网络规模与权重规模
机器学习
2020-11-04 v2 机器学习
摘要
1988年，Eric B. Baum 证明，具有阈值激活函数的两层神经网络仅用 ⌈n/d⌉ 个神经元即可完美记忆 R^d 中一般位置上 n 个点的二值标签。我们观察到，对于 ReLU 网络，使用四倍数量的神经元便可拟合任意实值标签。此外，对于误差 ε 内的近似记忆，神经正切核也仅需 O((n/d)·log(1/ε)) 个神经元（亦假设数据充分分散）。然而我们表明，这些构造所产生的网络中神经元权重的量级远非最优。相比之下，我们提出一种基于神经元复数（相对于实数）重组的 ReLU 网络新训练流程，并证明该方法在近似记忆时同时使用 O((n/d)·(log(1/ε))/ε) 个神经元，以及近乎最优的权重规模。
引用
@article{arxiv.2006.02855,
title = {Network size and weights size for memorization with two-layers neural networks},
author = {Sébastien Bubeck and Ronen Eldan and Yin Tat Lee and Dan Mikulincer},
journal= {arXiv preprint arXiv:2006.02855},
year = {2020}
}
备注
27 pages