中文

基于完全提升随机对偶理论的二值感知机容量

概率论 2023-12-04 v1 无序系统与神经网络 信息论 math.IT 统计理论 机器学习 统计理论

摘要

我们研究具有一般阈值κ\kappa的经典二值感知机的统计容量。在认识到容量与双线性指标(bli)随机过程之间的联系后,我们利用近期研究此类过程的进展来刻画容量。特别地,我们依靠\cite{Stojnicflrdt23}中建立的完全提升随机对偶理论(fl RDT)来创建研究感知机容量的通用框架。框架(以及最终的整个fl RDT机制)要完全实际可用,需要成功的底层数值计算。我们给出了该方向上获得的结果,并揭示容量刻画是在平稳化完全提升的第二层(第一非平凡)上实现的。所得结果精确匹配\cite{KraMez89}中通过统计物理复本方法得到的复本对称破缺预测。最值得注意的是,对于著名的零阈值情形κ=0\kappa=0,我们揭示了众所周知的α0.8330786\alpha\approx0.8330786标度容量。

关键词

引用

@article{arxiv.2312.00073,
  title  = {Binary perceptrons capacity via fully lifted random duality theory},
  author = {Mihailo Stojnic},
  journal= {arXiv preprint arXiv:2312.00073},
  year   = {2023}
}