基于完全提升随机对偶理论的二值感知机容量
概率论
2023-12-04 v1 无序系统与神经网络
信息论
math.IT
统计理论
机器学习
统计理论
摘要
我们研究具有一般阈值的经典二值感知机的统计容量。在认识到容量与双线性指标(bli)随机过程之间的联系后,我们利用近期研究此类过程的进展来刻画容量。特别地,我们依靠\cite{Stojnicflrdt23}中建立的完全提升随机对偶理论(fl RDT)来创建研究感知机容量的通用框架。框架(以及最终的整个fl RDT机制)要完全实际可用,需要成功的底层数值计算。我们给出了该方向上获得的结果,并揭示容量刻画是在平稳化完全提升的第二层(第一非平凡)上实现的。所得结果精确匹配\cite{KraMez89}中通过统计物理复本方法得到的复本对称破缺预测。最值得注意的是,对于著名的零阈值情形,我们揭示了众所周知的标度容量。
引用
@article{arxiv.2312.00073,
title = {Binary perceptrons capacity via fully lifted random duality theory},
author = {Mihailo Stojnic},
journal= {arXiv preprint arXiv:2312.00073},
year = {2023}
}