基于代数拓扑刻画神经网络的容量

不同神经架构的可学习性可直接由数据复杂度的可计算度量来刻画。在本文中，我们将架构选择问题重新框定为理解数据如何决定最适合该数据且最具表达力和泛化能力的架构，而非仅考虑归纳偏置。在提出以代数拓扑作为数据复杂度的度量之后，我们表明网络在其决策区域中表达数据集拓扑复杂度的能力是其泛化能力的严格限制因素。随后我们给出了神经网络拓扑容量的首个经验刻画。我们的经验分析表明，在每一数据复杂度层级上，神经网络都表现出拓扑相变。这一观察使我们能够将现有理论与关于全连接神经网络架构选择的经验驱动猜想联系起来。