受限玻尔兹曼机无监督学习的确定性与广义框架
机器学习
2018-10-17 v3 无序系统与神经网络
神经与进化计算
机器学习
摘要
受限玻尔兹曼机（RBMs）是基于能量的神经网络，通常用作深度神经架构的基本构件。在这项工作中，我们基于来自自旋玻璃理论的弱相互作用广连接系统的 Thouless-Anderson-Palmer (TAP) 平均场近似，推导出一种用于 RBM 的训练、评估与使用的确定性框架。尽管 TAP 方法已针对全可见二元自旋系统得到广泛研究，我们的构建推广到了潜变量模型，以及具有有界支撑的任意分布实值自旋系统。在我们的数值实验中，我们展示了所提出模型的有效确定性训练，并能够展示无法通过采样直接观察到的无监督学习的有趣特征。此外，我们展示了如何利用我们基于 TAP 的框架，将训练好的 RBM 用作去噪问题中的联合先验。
引用
@article{arxiv.1702.03260,
title = {A Deterministic and Generalized Framework for Unsupervised Learning with Restricted Boltzmann Machines},
author = {Eric W. Tramel and Marylou Gabrié and Andre Manoel and Francesco Caltagirone and Florent Krzakala},
journal= {arXiv preprint arXiv:1702.03260},
year = {2018}
}