无限宽度两层神经网络中 exact 全 RSB SAT/UNSAT 相变
无序系统与神经网络
2025-04-02 v4 机器学习
概率论
摘要
我们分析了使用两种连续非凸权重模型存储随机图案-标签关联的问题，分别是边际为负的感知器以及具有非重叠感受野和通用激活函数的无限宽度两层神经网络。我们采用全 RSB 假设计算了 SAT/UNSAT 相变的精确值。此外，在负感知器的情况下，我们显示典型状态的重叠分布在由边际值和存储图案密度定义的相图中的某些区域显示重叠间隙（不连续的支撑域）。这表明，一些确保基于近似消息传递（AMP）算法达到容量的近似结果并不适用。最后，我们表明梯度下降无法到达最大容量，无论是否存在典型状态的重叠间隙。这一发现类似于二进制权重模型中发生的情形，表明基于梯度的算法偏向于高度非典型状态，而这种状态的不可及性决定了算法阈值。
关键词
引用
@article{arxiv.2410.06717,
title = {Exact full-RSB SAT/UNSAT transition in infinitely wide two-layer neural networks},
author = {Brandon L. Annesi and Enrico M. Malatesta and Francesco Zamponi},
journal= {arXiv preprint arXiv:2410.06717},
year = {2025}
}
备注
39 pages, 12 figures