整流网络的表达能力

整流线性单元 (ReLU) 已被证明能改善梯度消失问题，允许高效反向传播，并在经验上促进所学参数的稀疏性。它们在多种应用中取得了最先进的结果。然而，与阈值和 sigmoid 网络不同，ReLU 网络从其表达能力角度较少被探索。本文研究 ReLU 网络的表达能力。我们通过构造功能等价的阈值网络来刻画两层 ReLU 网络的决策边界。我们表明，虽然两层 ReLU 网络的决策边界可被阈值网络捕获，但后者可能需要指数级更多的隐藏单元。我们还提出了将符号网络表示为 ReLU 网络时隐藏单元数量对应对数减少的充分条件。最后，我们通过实验比较了阈值网络及其小得多的 ReLU 对应网络从合成生成数据中学习的能力。