关于组合深度神经网络的线性函数数量：迈向神经网络复杂度的精确定义

衡量具有分段线性激活的深度神经网络表达能力的经典方法基于统计其最大线性区域数量。这一复杂度度量对于理解神经网络表达性的普遍性质（如深度相对于宽度的优势）相当有意义。然而，在比较不同网络架构的表达性时，它显得有限。当考虑置换不变网络时，由于线性区域间的对称冗余，这一不足尤为突出。为此，我们提出分段线性函数复杂度的精确定义：不直接统计线性区域数量，而是首先在组合成分段线性函数的线性函数间引入等价关系，然后相对于该等价关系统计这些线性函数。我们的新复杂度度量能清晰区分上述两类模型，与经典度量一致，并随深度呈指数增长。