SPIRT：一种容错可靠的去中心化无服务器机器学习训练架构
分布式、并行与集群计算
2023-09-26 v1 人工智能
摘要
无服务器计算的兴起为分布式机器学习带来了显著进步，尤其在基于参数服务器的架构中。然而，无服务器特性在去中心化（P2P）分布式网络中的集成在很大程度上仍未被探索。在本文中，我们提出 SPIRT，一种容错、可靠且安全的无服务器 P2P 机器学习训练架构，旨在弥合这一现有差距。利用 P2P 系统固有的鲁棒性与可靠性，SPIRT 采用 RedisAI 进行库内操作，使多种模型与批大小下的模型更新与梯度平均所需时间减少 82%。该架构展现出对节点失效的韧性，并熟练处理新节点的加入，从而凸显其容错特性与可扩展性。此外，SPIRT 确保节点间的安全通信，增强分布式机器学习任务的可靠性。即便面对拜占庭攻击，系统鲁棒的聚合算法仍保持高水平准确率。这些发现阐明了无服务器架构在 P2P 分布式机器学习中的可观潜力，为开发更高效、可扩展与韧性的应用迈出重要一步。
引用
@article{arxiv.2309.14148,
title = {SPIRT: A Fault-Tolerant and Reliable Peer-to-Peer Serverless ML Training Architecture},
author = {Amine Barrak and Mayssa Jaziri and Ranim Trabelsi and Fehmi Jaafar and Fabio Petrillo},
journal= {arXiv preprint arXiv:2309.14148},
year = {2023}
}