深度 ReLU 网络的算法构造

用数据训练的神经网络在数学上难以描述其所表示的内容。相反，人们对神经网络在原则上能够表示什么已有日益增长的数学理解。使用 ReLU 激活函数的前馈神经网络代表连续分段线性函数，并且可以逼近许多其他函数。其表达性研究涉及以下问题：哪些函数？为增进现有答案的贡献，我们从神经网络作为算法的角度出发。在此类比中，神经网络以构造性方式进行编程，而非从数据中训练。一个有趣的例子是排序算法：我们显式构造一个能够对输入进行精确排序的神经网络，而非近似排序，并且在某种意义上，如果输入维度较大，该网络具有最佳计算复杂度。此类构造网络可能具有数十亿个参数。我们构造并分析了几个其他例子，包括现有的和新的例子。我们发现，在这些例子中，作为算法的神经网络通常是递归的和并行的。相对于常规算法，ReLU 网络受到连续性限制此外。此外，递归深度受网络深度的限制，深度网络相对于浅层网络具有更好的属性。