源自数据流形维度的神经缩放律

当数据充足时，训练良好的神经网络所达到的损失随网络参数数量 $N$ 以幂律 $L \propto N^{-\alpha}$ 缩放。这一经验缩放律适用于多种数据模态，并可能持续许多数量级。如果神经模型实际上只是在内在维度为 $d$ 的数据流形上执行回归，则该缩放律可得以解释。这一简单理论预测，对于交叉熵和均方误差损失，缩放指数 $\alpha \approx 4/d$。我们通过在教师-学生（teacher/student）框架中独立测量内在维度和缩放指数来验证该理论，其中我们可以通过调节随机教师网络的性质来研究各种 $d$ 和 $\alpha$。我们还在多个数据集上用CNN图像分类器以及GPT类语言模型对理论进行了测试。