论函数维数与持久伪维数

对于任何固定的前馈ReLU神经网络架构，众所周知，许多不同的参数设置可以确定相同的函数。不太为人所知的是，这种冗余程度在参数空间上是不均匀的。在这项工作中，我们讨论了ReLU网络类的两个局部适用的复杂度度量以及我们对它们之间关系的了解：（1）局部函数维数[14, 18]，以及（2）VC维数的局部版本，我们称之为持久伪维数。前者易于在有限点批次上计算；后者应给出泛化差距的局部界限，这将有助于理解双重下降现象的机制[7]。