论分布式机器学习流量的突发性
机器学习
2024-01-02 v1 网络与互联网体系结构
摘要
来自机器学习 (ML) 模型分布式训练的流量构成了企业数据中心流量混合中巨大且不断增长的一部分。虽然关于分布式 ML 的研究比比皆是，但分布式 ML 产生的网络流量却鲜受关注。利用测试床网络的测量数据，我们调查了 ResNet-50 神经网络训练产生的流量特征，重点研究其短期突发性。为此，我们提出了在不同时间尺度上量化流量突发性的指标。我们的分析表明，分布式 ML 流量在短时间尺度上表现出极高程度的突发性，在长达 5~ms 的时间间隔内，峰值与均值之比超过 60:1。我们观察到，训练软件以这样一种方式协调传输：同一应用程序内不同来源的突发传输不会导致拥塞和数据包丢失。将测量数据外推至多个应用程序，凸显了分布式 ML 流量对拥塞控制和流控制算法带来的挑战。
引用
@article{arxiv.2401.00329,
title = {On the Burstiness of Distributed Machine Learning Traffic},
author = {Natchanon Luangsomboon and Fahimeh Fazel and Jörg Liebeherr and Ashkan Sobhani and Shichao Guan and Xingjun Chu},
journal= {arXiv preprint arXiv:2401.00329},
year = {2024}
}