通过自旋玻璃控制实现能量模型的高效训练
统计力学
2021-04-16 v4 无序系统与神经网络
机器学习
摘要
我们引入一类新的基于能量的概率图模型,用于高效无监督学习。其定义受由玻尔兹曼机权重描述的伊辛模型的自旋玻璃特性控制所启发。我们用它学习不同尺寸的Bars and Stripes数据集和MNIST数据集,并展示它们如何快速达到标准无监督学习方法所提供的性能。我们的结果表明,以等价于自旋玻璃模型的随机权重对玻尔兹曼机进行标准初始化是训练过程中不必要的瓶颈。此外,这一新模型族允许非常容易地访问低能构型,这指向新的高效训练算法。此类算法的最简单变体以完全无马尔可夫链蒙特卡洛采样代价近似对数似然梯度的负相位,且具备足以实现良好学习与泛化的精度。
引用
@article{arxiv.1910.01592,
title = {Efficient training of energy-based models via spin-glass control},
author = {Alejandro Pozas-Kerstjens and Gorka Muñoz-Gil and Eloy Piñol and Miguel Ángel García-March and Antonio Acín and Maciej Lewenstein and Przemysław R. Grzybowski},
journal= {arXiv preprint arXiv:1910.01592},
year = {2021}
}
备注
16 pages, 7+1 figures, RevTeX 4.1. Code is available at https://github.com/apozas/rapid/. v4: Updated to match published version