中文

自正则化受限玻尔兹曼机

无序系统与神经网络 2019-12-13 v1 统计力学 高能物理 - 理论 机器学习

摘要

聚焦于普通受限玻尔兹曼机的巨正则扩展,我们提出了一种基于能量的特征提取模型,其使用一层大小可变的隐单元。通过适当选取化学势,并在给定足够多隐资源的情况下,该生成模型能够高效推断学习目标数据所需的最优隐单元数,且泛化误差极小。巨正则系综的形式简洁性,结合平均场论中快速收敛的近似,使我们能在训练期间以微小改动复用成熟的数值算法,如对比散度。作为原理验证并展示巨正则玻尔兹曼机的新特性,我们在来自 Ising 理论与 MNIST 的数据上训练了我们的生成模型。

关键词

引用

@article{arxiv.1912.05634,
  title  = {Self-regularizing restricted Boltzmann machines},
  author = {Orestis Loukas},
  journal= {arXiv preprint arXiv:1912.05634},
  year   = {2019}
}

备注

28 pages, 11 figures