近似最大值函数需要多少个神经元
机器学习
2023-11-08 v2
摘要
我们研究在最基本的设定下，使用ReLU激活、针对连续分布以范数进行近似时，近似个输入上的最大值函数所需的神经网络规模。我们对不同深度下近似所需的宽度给出了新的下界与上界。我们的结果确立了深度2与3网络之间、以及深度3与5网络之间新的深度分离，同时给出了一个深度、宽度的构造来近似最大值函数。我们的深度分离结果得益于一个新的深度2网络在均匀分布上近似最大值函数的下界，该下界假设权重大小有指数上界。此外，我们能够利用该深度2下界，给出深度3网络近似最大值所需神经元数量的紧界。我们的下界具有潜在的广泛兴趣，因为它们适用于被广泛研究和使用的\emph{max}函数，而许多先前的结果将其界限建立在特殊构造或病态的函数与分布之上。
引用
@article{arxiv.2307.09212,
title = {How Many Neurons Does it Take to Approximate the Maximum?},
author = {Itay Safran and Daniel Reichman and Paul Valiant},
journal= {arXiv preprint arXiv:2307.09212},
year = {2023}
}