噪声依赖下的 AI 模型转变

我们研究了得分对数据噪声以及网络规模的依赖性。结果我们获得了从良好性能逐渐衰减到零的所谓“认知转变”。理解这一转变在基本科学和实际应用中都具有重要意义。我们利用统计力学的概念来理解在存在或被破坏数据的情况下，模型规模的有限变化如何影响认知能力。在一方面，我们研究了是否存在若干模型间的普遍性转变；另一方面，我们详细探讨了如何定量地捕捉认知转变点的逼近方式。因此，我们使用统计力学中的所谓尺度方法，发现转变宽度随模型规模增大呈幂律行为。由于我们的研究旨在探讨普遍性问题，我们使用众所周知的模型和数据进行图像分类，以避免数据处理或模型设置中的不确定性。我们的研究结果的实际意义在于提供了一个工具，用于估算特定“普适性类别”模型的规模，而无需检验大规模模型，只需通过外推尺度结果即可。反之，这有助于减少超参数研究中的成本。我们在具体设置上呈现初步结果；我们认为理解大规模系统尺寸的机制对于进一步探索更大规模的模型具有根本性意义。