论AI算法进步的起源
机器学习
2025-11-27 v1 人工智能
摘要
据估计，算法在2012年至2023年间将AI训练FLOP效率提高了22,000倍[Ho et al., 2024]。通过对这一时期关键创新进行小规模消融实验，我们只能解释其中不到10倍的收益。调查更广泛的文献，我们估计未包含在我们的消融实验中的额外创新占不到10倍，总计不到100倍。这促使我们进行扩展实验，实验表明，这种效率差距的很大一部分可以用具有规模依赖效率提升的算法来解释。特别是，我们在LSTM和Transformer之间进行了扩展实验，发现它们的计算最优扩展律存在指数差异，而许多其他创新几乎没有扩展差异。这些实验表明——与标准假设相反——算法的效率提升与计算规模相关。通过实验外推和文献估计，我们解释了同期6,930倍的效率提升，其中规模依赖的LSTM到Transformer的转变占了大部分收益。我们的结果表明，小模型的算法进步远低于先前假设，并且算法效率的度量强烈依赖于参考点。
引用
@article{arxiv.2511.21622,
title = {On the Origin of Algorithmic Progress in AI},
author = {Hans Gundlach and Alex Fogelson and Jayson Lynch and Ana Trisovic and Jonathan Rosenfeld and Anmol Sandhu and Neil Thompson},
journal= {arXiv preprint arXiv:2511.21622},
year = {2025}
}