一种用于分段线性激活神经网络的 Tropical 方法

我们基于近期关于分段线性激活神经网络复杂性的进展，提出了一种新的统一方法。我们将具有分段线性激活的神经网络层视为 tropical 多项式，其在所谓的 $(\max, +)$ 或 tropical 代数中推广了多项式，并可能具有实值指数。受 (arXiv:1402.1869) 中讨论的启发，该方法使我们能够将他们对具有 ReLU 或 leaky ReLU 激活的层的线性区域上界改进为 $\min\left\{ 2^m, \sum_{j=0}^n \binom{m}{j} \right\}$，其中 $n, m$ 分别为输入和输出的数量。此外，我们恢复了他们对 maxout 层的上界。我们的工作遵循一条新路径，完全在 tropical 几何的视角下展开，独立于 (arXiv:1611.01491, arXiv:1711.02114) 中报道的改进。最后，我们提出了一种利用随机采样有效计数线性区域的几何方法，以避免精确计数方法的计算开销。