更好的神经网络表达性：细分单纯形

本工作聚焦于ReLU神经网络的表达性，特别是其深度。一系列先前研究表明，$\lceil \log_2(n+1) \rceil$个隐藏层足以计算$\\mathbb{R}^n$上所有连续分段线性（CPWL）函数。Hertrich等人（NeurIPS'21 / SIDMA'23） conjectured此结果在优化意义上是最优的，因为存在CPWL函数（如最大值函数）需要该深度。我们驳斥了这个猜测，表明$\lceil\log_3(n-1)\rceil+1$个隐藏层足以计算$\\mathbb{R}^n$上所有CPWL函数。关键证明步骤是ReLU神经网络仅需两个隐藏层即可精确表示五个输入的最大值。更一般地，我们表明$\lceil\log_3(n-2)\rceil+1$个隐藏层足以计算$n\\geq 4$个数的最大值。我们的构造几乎匹配Averkov等人（ICLR'25）在ReLU网络权重为小数分数的情况下的$\lceil\log_3(n)\rceil$下界。这些构造几何上可解释为将单纯形细分为更易处理的多面体。