数据移动对前沿模型训练的限制
分布式、并行与集群计算
2024-11-14 v2 人工智能
机器学习
摘要
我们提出了分布式训练的理论模型，并用于分析稠密和稀疏训练运行的规模化潜力。在我们的基本假设下，给定三个月的训练持续时间，数据移动瓶颈将在约为 FLOP 的训练运行超过约 100% 的硬件利用率显著降低，距离目前最大的训练运行规模多出两个数量级，这表明在最近的增长率下，三年内规模化将到来基本限制。即使在低利用率下，约为 FLOP 的训练运行也不可实现。然而，如果可实现更激进的批量大小扩展和/或更短更宽的模型形状，则有潜力允许更大的训练运行。
引用
@article{arxiv.2411.01137,
title = {Data movement limits to frontier model training},
author = {Ege Erdil and David Schneider-Joseph},
journal= {arXiv preprint arXiv:2411.01137},
year = {2024}
}