迈向灵活且高保真的分布式DNN训练仿真方法
机器学习
2024-05-07 v1 分布式、并行与集群计算
摘要
我们提出了NeuronaBox，一种灵活、用户友好且高保真的DNN训练工作负载仿真方法。我们认为，为了准确观察性能，可以在真实节点的子集上执行训练工作负载，并仿真网络化执行环境以及集合通信操作。概念验证实现的初步结果表明，NeuronaBox以高精度复制了实际系统的行为，仿真测量值与真实系统之间的误差小于1%。
引用
@article{arxiv.2405.02969,
title = {Towards a Flexible and High-Fidelity Approach to Distributed DNN Training Emulation},
author = {Banruo Liu and Mubarak Adetunji Ojewale and Yuhan Ding and Marco Canini},
journal= {arXiv preprint arXiv:2405.02969},
year = {2024}
}