二部自旋玻璃与神经网络中的副本对称性破缺
无序系统与神经网络
2018-08-17 v4 机器学习
摘要
近期在神经网络理论理解方面的一些有趣进展受到了无序多体系统物理学结果的启发。受这些发现的推动，本研究使用副本技术研究数学上易于处理的二部 Sherrington-Kirkpatrick (SK) 自旋玻璃模型，该模型在形式上类似于受限玻尔兹曼机（RBM）神经网络。先前的研究在假设副本对称性的条件下对二部 SK 模型进行了研究；本文放宽了这一假设并进行了副本对称性破缺分析。研究发现，二部 SK 模型与原始单部 SK 模型的 Parisi 解有许多共同特征，包括存在以分层超度量方式相关的众多纯态。作为该分析的一个应用，图划分问题的最优代价被证明与二部 SK 模型的基态能量简单相关。作为第二个应用，实证研究表明，在 MNIST 数据集上训练的 RBM 的 Gibbs 采样输出比输入数据本身具有更强的超度量分布特征。
引用
@article{arxiv.1803.06442,
title = {Replica Symmetry Breaking in Bipartite Spin Glasses and Neural Networks},
author = {Gavin Hartnett and Edward Parker and Edward Geist},
journal= {arXiv preprint arXiv:1803.06442},
year = {2018}
}
备注
33 pages, 14 figures