表示分段线性函数的神经复杂性的改进界
机器学习
2023-01-18 v3 计算复杂性
神经与进化计算
摘要
使用修正线性单元的深层神经网络表示一个连续分段线性 (CPWL) 函数，反之亦然。文献中近期的结果估计，精确表示任意 CPWL 函数所需的神经元数量随片段数量呈指数增长，或关于不同线性分量数的阶乘呈指数增长。此外，这种增长随输入维度线性放大。这些已有结果似乎表明表示 CPWL 函数的代价高昂。本文中，我们提出更紧的界，并建立一种多项式时间算法，可为任意给定 CPWL 函数找到满足这些界的一个网络。我们证明，精确表示任意 CPWL 函数所需的隐藏神经元数量至多为其片段数量的二次函数。与以往所有结果相反，该上界与输入维度无关。除片段数量外，我们也研究了 CPWL 函数中不同线性分量的数量。当该数量亦给定时，我们证明二次复杂性变为双线性，这意味着更低的神经复杂性，因为不同线性分量数总不大于 CPWL 函数中片段的最小数量。当片段数量未知时，我们证明，就不同线性分量数而言，任意 CPWL 函数的神经复杂性对于低维输入至多多项式增长，而对于最坏情形呈阶乘增长，这显著优于文献中已有结果。
引用
@article{arxiv.2210.07236,
title = {Improved Bounds on Neural Complexity for Representing Piecewise Linear Functions},
author = {Kuan-Lin Chen and Harinath Garudadri and Bhaskar D. Rao},
journal= {arXiv preprint arXiv:2210.07236},
year = {2023}
}
备注
31 pages. Accepted at NeurIPS 2022