ReLU神经网络中计数线性区域的计算复杂性

已知的衡量给定ReLU神经网络表达能力的度量是其将输入空间划分为多少个线性区域。存在许多不同的、不等价的关于线性区域实际含义的定义。我们系统性地评估了哪些论文使用了哪些定义，并讨论了它们之间的关系。我们随后分析了对各种定义下计数线性区域数量的计算复杂性。一般而言，这是一个难以解决的问题。我们已经证明了对于单隐藏层网络，计数线性区域是NP-hard和#P-hard的；此外，对于两个或更多隐藏层，还证明了强烈的近似难度结果。最后，在算法方面，我们展示了对于某些常见的定义，计数线性区域至少可以在多项式空间内实现。