基于先验数据拟合网络的贝叶斯神经缩放律外推

缩放一直是推动深度学习近期发展的主要驱动力。大量实证研究发现，缩放律通常遵循幂律，并提出了多种幂律函数变体来预测更大规模下的缩放行为。然而，现有方法大多依赖于点估计，且未量化不确定性，这对于涉及决策问题的现实应用（如确定通过投入额外计算资源可获得的预期性能提升）至关重要。在这项工作中，我们探索了一种基于先验数据拟合网络（PFNs）的贝叶斯框架，用于神经缩放律外推。具体而言，我们设计了一个先验分布，能够采样无限多类似于现实世界神经缩放律的合成函数，从而使我们的PFN能够元学习外推。我们在现实世界的神经缩放律上验证了该方法的有效性，并将其与现有的点估计方法和贝叶斯方法进行了比较。我们的方法展现出卓越的性能，特别是在贝叶斯主动学习等数据受限场景中，突显了其在实际应用中实现可靠、感知不确定性的外推的潜力。