神经网络与有理函数

神经网络与有理函数可以高效地相互逼近。更详细地，此处证明了对于任意 ReLU 网络，均存在次数为 $O(\text{polylog}(1/\epsilon))$ 的有理函数与之 $\epsilon$-接近；类似地，对于任意有理函数，均存在大小为 $O(\text{polylog}(1/\epsilon))$ 的 ReLU 网络与之 $\epsilon$-接近。相比之下，多项式逼近哪怕单个 ReLU 也需要 $\Omega(\text{poly}(1/\epsilon))$ 的次数。在如上所述将 ReLU 网络转换为有理函数时，隐藏常数随层数呈指数依赖，且已证明该界限是紧的；换言之，组合表示即使对于有理函数也可能是有益的。