关于单调ReLU神经网络与输入凸神经网络的深度

Egor Bakaev; Florestan Brunck; Christoph Hertrich; Daniel Reichman; Amir Yehudayoff

关于单调ReLU神经网络与输入凸神经网络的深度

机器学习 2025-05-12 v1 离散数学神经与进化计算组合数学

作者: Egor Bakaev , Florestan Brunck , Christoph Hertrich , Daniel Reichman , Amir Yehudayoff

摘要

我们研究了两种ReLU神经网络模型：单调网络（ReLU $^+$ ）和输入凸神经网络（ICNN）。我们的重点是表达能力，主要从深度方面进行探讨，并证明了以下下界。对于计算 $n$ 个实数最大值的最大值函数MAX $_n$ ，我们证明ReLU $^+$ 网络无法计算MAX $_n$ ，甚至无法近似它。我们证明了ICNN对MAX $_n$ 的深度复杂度有一个精确的 $n$ 下界。我们还证明了ReLU网络与ICNN之间的深度分离；对于每一个 $k$ ，存在一个大小为 $O(k^2)$ 的深度为2的ReLU网络，它不能被深度为 $k$ 的ICNN模拟。这些证明基于神经网络与多面体几何之间的深层联系，并利用了三角剖分的等周性质。

关键词

单调ReLU网络输入凸神经网络深度复杂度表达能力下界多面体几何

引用

@article{arxiv.2505.06169,
  title  = {On the Depth of Monotone ReLU Neural Networks and ICNNs},
  author = {Egor Bakaev and Florestan Brunck and Christoph Hertrich and Daniel Reichman and Amir Yehudayoff},
  journal= {arXiv preprint arXiv:2505.06169},
  year   = {2025}
}

备注

27 pages, 17 figures

关于单调ReLU神经网络与输入凸神经网络的深度

摘要

关键词

引用

备注

相关论文