受限玻尔兹曼机的三个学习阶段与精度-效率权衡
机器学习
2022-09-27 v2 无序系统与神经网络
量子物理
摘要
受限玻尔兹曼机（RBMs）为无监督机器学习提供了一种通用架构，原则上可以以任意精度逼近任何目标概率分布。然而，由于其计算复杂性，RBM 模型通常无法直接访问，需借助马尔可夫链采样来分析所学的概率分布。因此，对于训练和最终应用而言，拥有一种既准确又高效的采样器是理想的。我们强调这两个目标通常相互竞争，无法同时实现。更具体地，我们识别并定量刻画了 RBM 学习的三种机制：独立学习，精度提升而不损失效率；关联学习，更高精度意味着更低效率；以及退化，精度和效率均不再提升甚至恶化。这些发现基于数值实验和启发性论证。
引用
@article{arxiv.2209.00873,
title = {Three Learning Stages and Accuracy-Efficiency Tradeoff of Restricted Boltzmann Machines},
author = {Lennart Dabelow and Masahito Ueda},
journal= {arXiv preprint arXiv:2209.00873},
year = {2022}
}
备注
14 pages, 4 figures (+ suppl. 10 pages, 9 figures)