多层监督学习模型中的阻塞现象
无序系统与神经网络
2019-10-23 v3
摘要
临界阻塞转变以惊人的普适性程度为特征。解析与数值证据表明，存在一个庞大的普适类，涵盖有限与无限维球面以及连续约束满足问题（CCSP），例如非凸感知机及相关模型。本文研究学习随机关联的多层神经网络（MLNN）作为 CCSP 的模型，其可能定义不同的阻塞普适类。与简单感知机和无限维球面（由单一有效场描述，约束看似一维）不同，MLNN 的描述涉及多个场，约束呈现出多维特征。我们首先对模型进行数值研究，表明类似于感知机，只要阻塞是等静力的，球面普适类便得以恢复；随后我们写出模型的精确平均场方程，并识别出一种维度归约机制，其导致的标度区与无限维球面之一相同。我们推测该机制可能具有足够的普遍性，以解释有限维普适性。
引用
@article{arxiv.1809.09945,
title = {Jamming in multilayer supervised learning models},
author = {Silvio Franz and Sungmin Hwang and Pierfrancesco Urbani},
journal= {arXiv preprint arXiv:1809.09945},
year = {2019}
}
备注
5+12 pages