UniAP：基于混合整数二次规划的层间与层内自动并行统一方法
机器学习
2025-04-21 v6 分布式、并行与集群计算
最优化与控制
摘要
分布式学习常用于训练深度学习模型，尤其是大型模型。在分布式学习中，手动并行（MP）方法需要大量人力且灵活性有限。因此，近年来提出了自动并行（AP）方法以自动化并行策略优化过程。现有 AP 方法由于未联合优化两类并行策略（即层间并行与层内并行）而存在次优解问题。本文提出一种称为 UniAP 的新型 AP 方法，通过混合整数二次规划统一层间与层内自动并行。据我们所知，UniAP 是首个能够联合优化两类并行策略以求得最优解的并行方法。实验结果表明，在五个基于 Transformer 的模型上，UniAP 的吞吐量优于最先进方法达 3.80，并将策略优化时间减少达 107。
引用
@article{arxiv.2307.16375,
title = {UniAP: Unifying Inter- and Intra-Layer Automatic Parallelism by Mixed Integer Quadratic Programming},
author = {Hao Lin and Ke Wu and Jie Li and Jun Li and Wu-Jun Li},
journal= {arXiv preprint arXiv:2307.16375},
year = {2025}
}
备注
17 pages, 10 figures, CVPR 2025