浅层神经网络中概念的出现
无序系统与神经网络
2021-09-02 v1 统计力学
机器学习
摘要
我们考虑在由确定但不可得的“原型”的模糊副本构成的非结构化数据集上训练的限制玻尔兹曼机（RBMs），并证明存在一个临界样本量，超过该量 RBM 可学习原型，即根据操作程序，该机器可成功充当生成模型或分类器。一般而言，评估临界样本量（可能与数据集质量相关）仍是机器学习中的开放问题。此处，限于随机理论，其中浅层网络已足够且祖母细胞场景成立，我们利用 RBM 与 Hopfield 网络之间的形式等价性，获得两种神经架构的相图，其突出了在控制参数空间（即原型数、神经元数、训练集规模与质量）中学习可完成的区域。我们的研究由基于无序系统统计力学的解析方法引导，结果进一步由广泛的蒙特卡洛模拟所证实。
引用
@article{arxiv.2109.00454,
title = {The emergence of a concept in shallow neural networks},
author = {Elena Agliari and Francesco Alemanno and Adriano Barra and Giordano De Marzo},
journal= {arXiv preprint arXiv:2109.00454},
year = {2021}
}