有效前沿：神经比例定律的统一框架

神经比例定律支配着测试损失随模型容量（$N$）、数据规模（$D$）和计算资源（$C$）呈现的功率级改进。然而，现有的理论解释往往依赖特定的网络架构或复杂的核方法，缺乏直观的普遍性。在本文中，我们提出了一个统一框架，将一般学习任务抽象为从长尾（齐布尔）分布中逐步覆盖模式的过程。我们引入了有效前沿（$k_\star$），作为模式序数空间中的一个阈值，划分已学习的知识与未学习的尾部。我们证明了可约损失在资源依赖的前沿截断下渐近地由尾部的概率质量决定。基于我们的框架，我们推导了 $N$、$D$、$C$ 的精确比例定律，归因于容量、覆盖和优化瓶颈。此外，我们通过最大瓶颈原理统一了这些机制，表明 Kaplan 和 Chinchilla 比例定律并不矛盾，而是不同活跃瓶颈下同一受约束优化问题的平衡解。