DeepSpeed优化库的基准评估
机器学习
2022-02-28 v1
摘要
深度学习(DL)模型因其在处理大规模数据集时展现出的性能与高准确率而广泛应用于机器学习。此类数据集的规模与DL模型的复杂性使得模型变得复杂,消耗大量资源与时间进行训练。近期许多库与应用被提出以应对DL的复杂性与效率问题。本文中,我们通过分类任务评估了其中一个例子——微软DeepSpeed库。DeepSpeed公开资料报道了其在LeNet架构上的分类性能指标。我们通过在现代神经网络架构(包括卷积神经网络(CNNs)与Vision Transformer (ViT))上评估该库对此进行了扩展。结果表明,DeepSpeed虽在部分情况下能带来改进,但在其他情况下无影响甚至产生负面作用。
引用
@article{arxiv.2202.12831,
title = {Benchmark Assessment for DeepSpeed Optimization Library},
author = {Gongbo Liang and Izzat Alsmadi},
journal= {arXiv preprint arXiv:2202.12831},
year = {2022}
}