超越存储容量：数据驱动的满足性相变
机器学习
2020-10-21 v1 无序系统与神经网络
统计力学
摘要
数据结构对神经网络的性质有着显著影响，然而其在既有理论框架中的重要性却鲜为人知。本文计算了在划分为等标签子集的数据上运行的核机器的 Vapnik-Chervonenkis 熵。与无结构情形不同，熵在训练集大小上非单调，并且在存储容量之外还呈现一个额外的临界点。值得注意的是，通过识别编码该相变的突触体积可以阐明，即便在随机标签数据下，间隔分类器中也出现相同行为。这些发现揭示了超越存储容量所提供的凝缩描述所涵盖的表达性方面，并为神经网络泛化误差更现实的界指明了路径。
引用
@article{arxiv.2005.09992,
title = {Beyond the storage capacity: data driven satisfiability transition},
author = {Pietro Rotondo and Mauro Pastore and Marco Gherardi},
journal= {arXiv preprint arXiv:2005.09992},
year = {2020}
}
备注
5 pages, 2 figures