深度玻尔兹曼机中的退火与副本对称性
统计力学
2020-02-26 v1 无序系统与神经网络
数学物理
math.MP
摘要
本文中，我们研究了一种多层自旋玻璃模型（在人工智能术语中称为深度玻尔兹曼机）的淬火压强的性质，其成对相互作用只允许位于相邻层的自旋之间，而不在同一层内或距离大于一的层之间。我们证明了一个定理，将该 K 层机器的淬火压强以 K 个 Sherrington-Kirkpatrick 自旋玻璃为界，并用它来研究其退火区域。我们确定了淬火压强的副本对称近似，并考虑了它与退火压强的关系。本文还提出了一些关于模型架构结构与机器学习相关的观察。由于逃离退火区域对于有意义的训练是必须的，通过压缩该区域我们得到了关于形式因子的热力学约束。值得注意的是，其最优逃离是通过要求最后一层在网络规模中按次线性缩放来实现的。
引用
@article{arxiv.2001.07714,
title = {Annealing and replica-symmetry in Deep Boltzmann Machines},
author = {Diego Alberici and Adriano Barra and Pierluigi Contucci and Emanuele Mingione},
journal= {arXiv preprint arXiv:2001.07714},
year = {2020}
}
备注
15 pages, 1 figure. To appear in the Special Issue dedicated to celebrating Joel Lebowitz