有界深度的有理 ReLU 神经网络的表达性

为证明 ReLU 神经网络的表达能力随深度增加而增长，文献中已考虑函数 $F_n = \max \{0,x_1,\ldots,x_n\}$。Hertrich、Basu、Di Summa 和 Skutella 在 NeurIPS 2021 提出的一个猜想是：任何恰好表示 $F_n$ 的 ReLU 网络至少需要 $\lceil\log_2 (n+1)\rceil$ 个隐藏层. 该猜想最近已被证实适用于整数权重的网络，由 Haase、Hertrich 和 Loho 在 ICLR 2023 完成。我们沿续这一研究路径，证明在权重为小数分数的 ReLU 网络中，$F_n$ 只能由至少 $\lceil\log_3 (n+1)\rceil$ 个隐藏层表示。此外，如果所有权重都是 $N$- 进制分数，则 $F_n$ 只能由至少 $\Omega( \frac{\ln n}{\ln \ln N})$ 层表示。这一结果是该猜想在有理 ReLU 网络中的部分确认，并提供了针对实际相关的 ReLU 网络深度的第一个非常数下界。