来自彩票票集成的神经标度律

神经标度律（NSL）指模型性能随规模提升的现象。Sharma & Kaplan 利用逼近论分析 NSL，并预测 MSE 损失以 $N^{-\alpha}$ 衰减，$\alpha=4/d$，其中 $N$ 为模型参数量，$d$ 为内在输入维度。尽管其理论在某些情形（如 ReLU 网络）下表现良好，我们惊讶地发现简单一维问题 $y=x^2$ 呈现出不同于其预测（$\alpha=4$）的标度律（$\alpha=1$）。我们打开神经网络后发现，新标度律源于彩票票集成：更宽的网络平均拥有更多“彩票票”，它们被集成以降低输出方差。我们通过机制性地解释单个神经网络以及统计研究为其集成机制提供支持。我们将 $N^{-1}$ 标度律归因于彩票票的“中心极限定理”。最后，我们讨论其对大语言模型与学习中的统计物理型理论的潜在启示。