低本征维度数据上受限Boltzmann机的精确训练
无序系统与神经网络
2021-11-18 v2
摘要
受限Boltzmann机是一种基本的机器学习工具,原则上能够对某些任意数据集的分布建模。然而其标准训练过程在许多方面显得微妙且不明。我们通过考虑数据具有低本征维度的情形为其带来新见解,这提供了精确处理的可能并揭示了标准训练过程的一个根本性失败。这一失败的原因——例如训练期间一级相变的发生——借助模型的库仑相互作用重构得以澄清。此外,我们表述了原优化问题的一个凸松弛,从而得到唯一解,并在研究案例上以精确数值形式获得,而基于信息论论证可猜想一个约束线性回归解。
引用
@article{arxiv.2103.10755,
title = {Exact training of Restricted Boltzmann machines on intrinsically low dimensional data},
author = {Aurélien Decelle and Cyril Furtlehner},
journal= {arXiv preprint arXiv:2103.10755},
year = {2021}
}
备注
13 pages, 6 Figures