Chinchilla方法2的若干问题：IsoFLOP抛物线拟合中的系统性偏差
机器学习
2026-03-31 v3 计算与语言
机器学习
摘要
Chinchilla方法2是最广泛使用的神经比例定律拟合方法之一。其抛物线近似在计算最优分配估计时即使在无噪声合成数据上也会引入系统性偏差。应用于开放前沿计算规模的Llama 3 IsoFLOP数据，这些偏差意味着对应6.5%的 FLOP训练预算以及$1.4M（90%置信区间：$412K-$2.9M）的计算资源未被有效利用。模拟的多模态模型误分配显示由于损失曲面不对称性，机会成本更大。本文检讨了此类错误的三个来源：IsoFLOP抽样网格宽度（Taylor近似精度）、未居中IsoFLOP抽样，以及损失曲面不对称性（）。Chinchilla方法3在很大程度上消除了这些偏差，但常被认为数据效率较低、数值不稳定、易陷入局部最小值且难以实现。每个担忧都被证明是无根据的或可解决的，尤其是当利用目标部分线性结构通过Variable Projection后，即可通过二维优化实现对所有五个损失曲面参数的无偏推断，该优化在条件良好、解析可导且适合稠密或甚至穷举网格搜索。它或可取代方法2，或可作为更可扩展的替代方案用于更丰富的比例定律公式。详见https://github.com/Open-Athena/vpnls及https://openathena.ai/scaling-law-analysis。
引用
@article{arxiv.2603.22339,
title = {Problems with Chinchilla Approach 2: Systematic Biases in IsoFLOP Parabola Fits},
author = {Eric Czech and Zhiwei Xu and Yael Elmatad and Yixin Wang and William Held},
journal= {arXiv preprint arXiv:2603.22339},
year = {2026}
}