稠密神经网络中的副本对称性破缺
无序系统与神经网络
2022-09-28 v1 数学物理
math.MP
摘要
理解神经网络的玻璃态本质对于机器学习和理论人工智能的理论与计算进展至关重要。本文将重点放在稠密联想赫布神经网络上，目的有二：首先，我们发展严格的数学方法来恰当地处理这些网络中副本对称性破缺(RSB)现象的统计力学图景；然后，深化通过这些途径得出的结果，我们旨在探究它们所隐藏的玻璃态特性。特别是，在方法论方面，我们提供了两种技术：前者是将输运偏微分方程适应该情形，后者是对Guerra插值突破的扩展。除了在副本对称和一步副本对称性破缺描述层次上结果之间的一致性之外，我们还证明了Gardner图景，并通过Baldi-Venkatesh高存储状态下的基态分析确定了最大存储容量。在论文的第二部分，我们研究了这些网络的玻璃态结构：与副本对称(RS)情景相反，RSB实际上稳定了自旋玻璃相。我们报告了与标准成对Hopfield极限情况的巨大差异：特别是，已知可以将Hopfield神经网络的自由能表示为硬自旋玻璃（即Sherrington-Kirkpatrick模型）和软自旋玻璃（高斯或“球面”模型）自由能的线性组合。当相互作用超过成对时（无论在RS还是RSB描述层次），这不再成立：对于稠密网络，仅硬自旋玻璃的自由能存留下来，证明了联想神经网络底层玻璃态的巨大多样性。
引用
@article{arxiv.2111.12997,
title = {Replica symmetry breaking in dense neural networks},
author = {Linda Albanese and Francesco Alemanno and Andrea Alessandrelli and Adriano Barra},
journal= {arXiv preprint arXiv:2111.12997},
year = {2022}
}