深度ReLU网络线性区域的局部复杂度

我们定义了具有连续分段线性激活函数的神经网络的局部复杂度作为输入数据分布上线性区域密度的度量。我们在理论上证明，学习低维特征表示的ReLU网络具有较低的局部复杂度。这使我们能够将特征学习在权重矩阵层面的经验观察与具体的学习函数属性相联系。特别是，我们证明局部复杂度是函数在输入数据分布上的总变差的上界，从而表明特征学习可与对抗鲁棒性相关联。最后，我们考察了优化如何驱动ReLU网络向局部复杂度更低的解决方案发展。总体而言，本工作提供了一个理论框架，用于将ReLU网络的几何属性与特征学习和表示成本等不同学习方面相联系。