作为相互作用变量模型的限制玻尔兹曼机
机器学习
2021-03-31 v1 无序系统与神经网络
机器学习
数据分析、统计与概率
摘要
我们通过研究隐藏节点激活函数对其在观测二值节点上所施加的边缘分布的影响，来研究具有不同激活函数的限制玻尔兹曼机（RBMs）所能表达的分布类型。我们报告了这些边缘分布的一种精确表达式，其形式为相互作用二值变量模型，其中相互作用的显式形式依赖于隐藏节点激活函数。我们详细研究了这些相互作用的性质，并评估了 RBM 对二值变量分布近似的精度如何依赖于隐藏节点激活函数和隐藏节点数量。当推断出的 RBM 参数较弱时，发现了相互作用项表达的一种直观模式，该模式大幅减少了不同激活函数之间的差异。我们表明，对于在 MNIST 数据集上训练的不同 RBM，弱参数近似是一种良好的近似。有趣的是，在这些情况下，该映射揭示出推断出的模型本质上是低阶相互作用模型。
引用
@article{arxiv.2103.15917,
title = {Restricted Boltzmann Machines as Models of Interacting Variables},
author = {Nicola Bulso and Yasser Roudi},
journal= {arXiv preprint arXiv:2103.15917},
year = {2021}
}
备注
Supplemental material is available as ancillary file and can be downloaded from a link on the right