具有分段线性激活函数的深度前馈网络的响应区域数量

本文探讨了具有线性突触前耦合和整流线性激活函数的深度前馈网络的复杂性。这是对对比深度与浅层网络架构表示能力的日益增长的研究工作的贡献。特别是，我们提供了一个基于计算几何的框架，用于比较属于分段线性函数族的深度模型与浅层模型。我们考察了一个具有线性输出单元的深度整流多层感知机 (MLP)，并将其与该模型的单层版本进行比较。在渐近机制下，当输入数量保持不变时，如果浅层模型有 $kn$ 个隐藏单元和 $n_0$ 个输入，则线性区域的数量为 $O(k^{n_0}n^{n_0})$。对于每层有 $n$ 个隐藏单元的 $k$ 层模型，该数量为 $\Omega(\left\lfloor {n}/{n_0}\right\rfloor^{k-1}n^{n_0})$。当 $n$ 趋于无穷大，或当 $k$ 趋于无穷大且 $n \geq 2n_0$ 时，数值 $\left\lfloor{n}/{n_0}\right\rfloor^{k-1}$ 的增长速度快于 $k^{n_0}$。此外，即使 $k$ 很小，如果我们限制 $n$ 为 $2n_0$，我们可以证明深度模型比浅层模型拥有多得多的线性区域。我们将此视为理解这些模型复杂性的第一步，特别是为未来的分析提供合适的数学工具。