在去中心化学习系统中以更少通信获得更多
分布式、并行与集群计算
2024-05-15 v2 机器学习
摘要
去中心化学习（DL）系统日益流行，因为它们仅通过通信模型参数来避免原始数据共享，从而保护数据机密性。然而，深度神经网络的大尺寸对去中心化训练构成重大挑战，因为每个节点需要交换数吉字节的数据，使网络过载。本文通过 JWINS 应对这一挑战，这是一个通信高效且完全去中心化的学习系统，通过稀疏化仅共享部分参数。JWINS 使用小波变换来限制因稀疏化导致的信息损失，并使用随机通信截断来减少通信用量而不损害训练模型的性能。我们在非 IID 数据集上用 96 个 DL 节点实证表明，JWINS 在发送最多减少 64% 字节数的同时，能达到与全共享 DL 相当的准确率。此外，在低通信预算下，JWINS 在网络节省和 time 方面比最先进的通信高效 DL 算法 CHOCO-SGD 高出最多 4 倍。
引用
@article{arxiv.2306.04377,
title = {Get More for Less in Decentralized Learning Systems},
author = {Akash Dhasade and Anne-Marie Kermarrec and Rafael Pires and Rishi Sharma and Milos Vujasinovic and Jeffrey Wigger},
journal= {arXiv preprint arXiv:2306.04377},
year = {2024}
}