面向DNN训练最优通信调度的自动配置
分布式、并行与集群计算
2021-12-28 v1 人工智能
摘要
ByteScheduler通过划分和重排张量传输来提升分布式深度神经网络（DNN）训练的通信效率。超参数（即划分大小和信用大小）的配置对划分与重排的效果至关重要。目前，ByteScheduler采用贝叶斯优化（BO）预先寻找超参数的最优配置。然而在实践中，各类运行时因素（如工作节点状态与网络状况）随时间变化，使得静态确定的一次性配置结果对实际DNN训练而言并非最优。为解决该问题，我们提出一种实时配置方法（称为AutoByte），可在训练系统动态变化时自动且及时地搜索最优超参数。AutoByte通过元网络扩展ByteScheduler框架，该元网络以系统运行时统计信息为输入，输出特定配置下加速比的预测。在多种DNN模型上的评估结果表明，AutoByte能以较低的资源占用动态调优超参数，并比ByteScheduler中最佳静态配置带来最高33.2%的性能提升。
引用
@article{arxiv.2112.13509,
title = {Automatic Configuration for Optimal Communication Scheduling in DNN Training},
author = {Yiqing Ma and Hao Wang and Yiming Zhang and Kai Chen},
journal= {arXiv preprint arXiv:2112.13509},
year = {2021}
}