计算前沿 AI 模型中算法创新的需求
机器学习
2025-07-16 v1 人工智能
摘要
算法创新在大型语言模型的预训练过程中，已大幅降低了达到特定能力水平所需的总计算资源。本文我们经验性地探讨了开发算法创新所需的计算资源。我们列举了在 Llama 3 和 DeepSeek-V3 中使用的 36 项预训练算法创新。对于每项创新，我们估算了开发过程中使用的总 FLOP 数量以及所利用硬件的 FLOP/s。采用显著资源的创新每年翻倍。随后我们利用该数据集调查计算资源限制对创新的影响。我们的分析表明，仅凭计算资源限制不太可能显著放缓 AI 算法的进步。即便采用严格的计算资源限制——例如将总运算次数限制为训练 GPT-2 所用的计算资源，或将硬件容量限制为 8 块 H100 GPU——仍可允许约一半的所列创新得以实现。
引用
@article{arxiv.2507.10618,
title = {Compute Requirements for Algorithmic Innovation in Frontier AI Models},
author = {Peter Barnett},
journal= {arXiv preprint arXiv:2507.10618},
year = {2025}
}