受限玻尔兹曼机的模式重构
概率论
2023-10-31 v3 无序系统与神经网络
信息检索
机器学习
摘要
受限玻尔兹曼机是由可见层和隐藏层组成的能量模型。我们辨识出一个描述可见单元上零温景观的有效能量函数,其仅依赖于隐藏层先验分布的尾部行为。通过研究该能量函数局部极小值的位置,我们表明受限玻尔兹曼机重构随机模式的能力确实仅取决于隐藏先验分布的尾部。我们发现,具有严格超高斯尾部的隐藏先验仅带来模式检索的对数级损失,而具有严格亚高斯尾部的隐藏单元则难以高效检索;若隐藏先验具有高斯尾部,则检索能力由隐藏单元数量决定(如同Hopfield模型)。
引用
@article{arxiv.2205.07087,
title = {Pattern reconstruction with restricted Boltzmann machines},
author = {Giuseppe Genovese},
journal= {arXiv preprint arXiv:2205.07087},
year = {2023}
}