Saturn:高效多大模型深度学习
机器学习
2023-11-07 v1 人工智能
分布式、并行与集群计算
摘要
在本文中,我们提出 Saturn,一个用于提升多大模型训练(例如在模型选择/超参数优化期间)效率的新数据系统。我们首先明确了用户在此场景下构建大模型所面临的三个相互关联的系统挑战——并行技术选择、作业间 GPU 分配以及调度。随后我们将这些形式化为一个联合问题,并构建了一个新的系统架构来同时应对这些挑战。我们的评估表明,我们的联合优化方法比典型的当前深度学习实践减少了 39-49% 的模型选择运行时间。
引用
@article{arxiv.2311.02840,
title = {Saturn: Efficient Multi-Large-Model Deep Learning},
author = {Kabir Nagrecha and Arun Kumar},
journal= {arXiv preprint arXiv:2311.02840},
year = {2023}
}
备注
4 pages, 1 figure, 2 tables. Accepted to BayLearn 2023. Abstract of this paper: https://adalabucsd.github.io/papers/TR_2023_Saturn.pdf