来自大N场论的神经标度律：超越无岭极限的可解模型

许多基于神经网络的机器学习模型表现出标度律：其性能随模型大小和训练数据集大小呈幂律标度。我们使用大N场论方法求解了Maloney、Roberts和Sully最近提出的一个模型，该模型为研究神经标度律提供了一个简化设定。我们的解将后一篇论文的结果推广到岭参数的一般非零值，这对于正则化模型行为至关重要。除了获得新的、更精确的标度律外，我们还在图层面发现了一个对偶变换，它解释了模型大小和训练数据集大小之间的对称性。同样的对偶性也是近期设计神经网络以模拟量子场论工作的基础。