UnifiedNN：云端高效神经网络训练
机器学习
2024-08-07 v2
摘要
如今，基于云的服务比传统的本地训练神经网络（NN）模型的方法更受青睐。通常，云服务会处理来自用户的多个请求——因此同时训练多个NN模型。然而，并发训练NN模型是一个具有挑战性的过程，通常需要大量可用的计算资源且耗时较长。本文提出了UnifiedNN，用于在云端有效并发训练多个NN模型。UnifiedNN有效地"合并"多个NN模型，并具备多种内存和时间节省机制，可在不影响训练精度的同时同时训练多个NN模型。具体而言，UnifiedNN合并多个NN模型并创建一个大型统一模型，从而高效地同时训练所有模型。我们在PyTorch中实现了UnifiedNN的原型，并将其性能与相关最先进框架进行了比较。实验结果表明，与原生PyTorch相比，UnifiedNN可将内存消耗降低多达53%，训练时间降低多达81%，且不影响模型训练和测试精度。最后，我们的结果表明，在并发训练多个模型时，与最先进框架相比，UnifiedNN可将内存消耗降低多达52%，训练时间降低多达41%。
引用
@article{arxiv.2408.01331,
title = {UnifiedNN: Efficient Neural Network Training on the Cloud},
author = {Sifat Ut Taki and Arthi Padmanabhan and Spyridon Mastorakis},
journal= {arXiv preprint arXiv:2408.01331},
year = {2024}
}