单调神经网络的大小与深度：插值与逼近

我们研究具有阈值门且所有权重（偏置除外）均为非负的单调神经网络。我们关注此类网络的表达能力和表示效率。我们的第一个结果证明，$[0,1]^d$ 上的每个单调函数都可以被一个深度为 4 的单调网络以任意小的加性误差逼近。当 $d > 3$ 时，我们改进了先前已知的最佳构造，其深度为 $d+1$。我们的证明通过利用深度为 4 的单调阈值网络解决单调数据集的单调插值问题来实现。在第二个主要结果中，我们比较了具有阈值门的单调神经网络与任意神经网络的大小界限。我们发现，存在一些单调实函数，可被对门无限制的网络高效计算，而逼近这些函数的单调网络在维度上需要指数级大小。