Rademacher 复杂度与自旋玻璃：副本理论与统计学习理论之间的联系
无序系统与神经网络
2020-09-04 v2 统计力学
机器学习
机器学习
摘要
统计学习理论利用特别是 Vapnik-Chervonenkis 维和 Rademacher 复杂度给出了泛化差距的界。另一种主要在统计物理文献中研究的方法是对简单合成数据模型中泛化的研究。在此我们讨论这些方法之间的联系，并聚焦于统计学习中的 Rademacher 复杂度与统计物理中典型情形合成模型的泛化理论之间的联系，后者涉及称为 Gardner 容量和基态能量的量。我们表明，在这些模型中 Rademacher 复杂度与通过副本理论计算的基态能量密切相关。利用这一联系，可以将文献中的许多结果重新解释为在高维统计极限下多种模型中的严格 Rademacher 界。有些令人惊讶的是，我们也表明统计学习理论为某些完全副本对称性破缺模型中的基态能量行为提供了预测。
引用
@article{arxiv.1912.02729,
title = {Rademacher complexity and spin glasses: A link between the replica and statistical theories of learning},
author = {Alia Abbara and Benjamin Aubin and Florent Krzakala and Lenka Zdeborová},
journal= {arXiv preprint arXiv:1912.02729},
year = {2020}
}
备注
15 + 10 pages, v2 revised and accepted at MSML