更深网络表达自然函数的能力

众所周知，神经网络是通用逼近器，但在实践中更深的网络往往比浅层网络更强大。我们通过证明以下结论来阐明这一点：对于深度神经网络，逼近 $n$ 元自然类多元多项式所需的总神经元数 $m$ 仅随 $n$ 线性增长，而当仅允许单个隐藏层时则呈指数增长。我们还提供证据表明，当隐藏层数量从 $1$ 增加到 $k$ 时，神经元需求不是随 $n$ 而是随 $n^{1/k}$ 指数增长，这意味着实现实际可表达性所需的最小层数仅随 $n$ 对数增长。