深度前馈网络的表示优势

本文提供了一族以正整数 $k$ 为索引的分类问题，其中所有节点数少于关于 $k$ 呈指数级的浅层网络均表现出至少 $1/6$ 的误差，而一个在 $2k$ 层中每层有 2 个节点的深度网络则实现了零误差，一个包含 3 个不同节点并迭代 $k$ 次的循环网络同样实现了零误差。证明是初等的，且这些网络是带有 ReLU（Rectified Linear Unit）非线性的标准前馈网络。