树状符号感知器神经网络单隐藏层的容量——基于随机对偶理论的上界
无序系统与神经网络
2023-12-14 v1 信息论
数学物理
math.IT
math.MP
概率论
机器学习
摘要
我们研究了符号感知器神经网络（SPNN）的容量，并特别关注单隐藏层树状委员会机（TCM）架构。与单个感知器神经元的情况类似，结果表明，在统计意义上，由多个符号感知器组成的多层网络架构的容量也会经历所谓的相变现象。这意味着：(i) 对于系统参数（数据大小、神经元数量）的特定范围，网络可以被适当训练以准确记忆输入数据集中的所有元素；以及 (ii) 在该区域之外，这样的训练不存在。显然，确定分隔这些区域的相应相变曲线是一项非凡的任务，也是与任何网络性能相关的最基本问题之一。利用称为随机对偶理论（RDT）的强大数学引擎，我们建立了一个通用框架，用于确定单隐藏层 TCM SPNN 容量的上界。此外，我们针对任何给定的（奇数）神经元数量都做到了这一点。我们进一步证明，所获得的结果与 \cite{EKTVZ92,BHS92} 的副本对称性预测完全匹配，从而证明了基于统计物理的结果不仅是很好的估计，而且是数学上严格的界。此外，对于 ，我们获得的容量值改进了 \cite{MitchDurb89} 中已知的最佳严格结果，从而在超过 30 年的时间里首次取得了数学上严格的进展。
引用
@article{arxiv.2312.08244,
title = {Capacity of the treelike sign perceptrons neural networks with one hidden layer -- RDT based upper bounds},
author = {Mihailo Stojnic},
journal= {arXiv preprint arXiv:2312.08244},
year = {2023}
}