CubicML：利用机器学习性能预测实现大型机器学习系统协同设计的自动化机器学习
机器学习
2024-09-24 v2 人工智能
分布式、并行与集群计算
摘要
扩展深度学习模型已被证明能有效提升机器学习（ML）模型的智能水平，尤其对于工业推荐模型和大语言模型而言。大型分布式机器学习系统与算法的协同设计（以最大化训练性能）对其成功起着关键作用。随着规模扩大，协同设计超参数的数量迅速增长，这为切实找到最优配置以实现系统性能最大化带来了挑战。本文提出 CubicML，它利用机器学习自动优化大型分布式机器学习系统的训练性能。在 CubicML 中，我们使用一个机器学习模型作为代理来预测训练性能，以提高搜索效率和性能建模的灵活性。我们证明，CubicML 能够有效优化 Meta 公司内部拥有 730 亿参数的广告推荐模型以及高达 4050 亿参数的大语言模型的训练速度。
引用
@article{arxiv.2409.04585,
title = {CubicML: Automated ML for Large ML Systems Co-design with ML Prediction of Performance},
author = {Wei Wen and Quanyu Zhu and Weiwei Chu and Wen-Yen Chen and Jiyan Yang},
journal= {arXiv preprint arXiv:2409.04585},
year = {2024}
}