全连接两层神经网络的解空间与存储容量：面向通用激活函数

二分类模型的存储容量是指模型能够学习的随机输入输出对数（每参数）的最大值。这是一个衡量机器学习模型表达力的指标，对比较各种模型的性能至关重要。本文使用统计物理中的复制方法，对全连接两层神经网络的解空间结构和存储容量进行分析。我们的结果表明，即使在无限宽度下，存储容量仍保持有限，且网络的权重呈现负相关，导致“分工”。此外，我们发现增加数据集大小会在某个转移点处引发相变，该转移点处于权重排列对称性被破坏，导致解空间分为互不相连的区域。我们确定了该转移点和存储容量对激活函数选择的依赖性。这些发现有助于理解激活函数和参数数量对解空间结构的影响， potentially 为基于特定目标选择合适的网络结构提供启示。