时间即关键：任意预算下的比例定律
机器学习
2024-10-25 v2 人工智能
摘要
大型模型训练的主要成本之一是墙面时间。我们发现，基于FLOPs的流行时间估计方法不够准确，构建了基于内存复制的更精确代理方法。这使我们能够从模型的超参数中准确估计变换模型的训练速度。结合类似Chinchilla的比例定律曲线，这使我们能够从一个简单方程中准确预测模型的最终损失。我们表明，该表达式在广泛的模型超参数取值范围内都很准确，使我们能够从理论上做出架构决策并更高效地训练模型。关键是，本分析表明，与现有文献不同，模型应更宽而不是更深，因为速度的收益超过了深度的收益。
引用
@article{arxiv.2406.18922,
title = {Time Matters: Scaling Laws for Any Budget},
author = {Itay Inbar and Luke Sernau},
journal= {arXiv preprint arXiv:2406.18922},
year = {2024}
}