关于浅层 ReLU 网络的最小表示

浅层 ReLU 网络的实现函数是连续分段仿射函数 $f:\mathbb R^d\to \mathbb R$，其中定义域 $\mathbb R^{d}$ 被一组 $n$ 个超平面划分为若干单元，在每个单元上 $f$ 是仿射的。我们证明 $f$ 的最小表示使用 $n$、$n+1$ 或 $n+2$ 个神经元，并刻画了这三种情况。在特定情况下，当输入层为一维时，最小表示总是至多使用 $n+1$ 个神经元，但在所有更高维设置中，存在需要 $n+2$ 个函数的函数。接着我们证明表示 $f$ 的最小网络集合构成一个 $C^\infty$-子流形 $M$，并推导了 $M$ 的维数和连通分支数。此外，我们给出了保证所有连续分段仿射函数均为适当 ReLU 网络的实现超平面的判据。