基于混合精度的分布式训练时间预测
机器学习
2026-04-20 v1 人工智能
分布式、并行与集群计算
性能
摘要
准确预测分布式深度学习中的训练时间对于资源分配、成本估计和作业调度至关重要。我们观察到浮点精度设置是训练时间的关键决定因素，导致其与最小值相比约为 2.4 倍的训练时间差异。然而，现有研究中基于静态模型计算图的分布式训练时间预测方法未能捕捉包括混合精度在内的精度变化。根据我们的实验，若不考虑精度因素进行训练时间预测，将导致显著的预测误差——平均绝对百分比误差（MAPE）可达高达 147.85%。为解决此问题，我们提出了一种精度感知的分布式训练时间预测器，能够在包括混合精度在内的多种精度设置下实现稳健的预测准确性，MAPE 为 9.8%。
引用
@article{arxiv.2604.16145,
title = {Training Time Prediction for Mixed Precision-based Distributed Training},
author = {Minchul Kang and Changyong Shin and Jinwoo Jeong and Hyunho Lee and Younghun Go and Gyeongmin Kim and Gyeongsik Yang and Chuck Yoo},
journal= {arXiv preprint arXiv:2604.16145},
year = {2026}
}