DRACO：基于行稀疏无线网络的去中心化异步联邦学习
机器学习
2025-01-30 v2 信息论
网络与互联网体系结构
math.IT
摘要
近期发展和新兴应用，如智能物联网（IoT）和边缘AI，催生了在完全去中心化（无服务器）网络上训练神经网络的需求。去中心化学习的一个主要挑战是如何在不对每个代理人的数据分布或更新策略施加强假设的情况下确保稳定收敛。为此，我们提出DRACO，一种基于连续通信的行稀疏 gossip 无线网络上的去中心化异步随机梯度下降（SGD）方法。我们的做法使去中心化网络中的边缘设备能够在连续时间线上进行本地训练和模型交换，从而消除同步 timing 的必要性。该算法还包含一种解耦通信与计算时间表的特定技术，使所有用户完全自主且对延迟用户具有可管理的指令。通过全面的收敛分析，我们强调了异步和自主参与在去中心化优化中的优势。我们的数值实验证实了所提出技术的有效性。
引用
@article{arxiv.2406.13533,
title = {DRACO: Decentralized Asynchronous Federated Learning over Row-Stochastic Wireless Networks},
author = {Eunjeong Jeong and Marios Kountouris},
journal= {arXiv preprint arXiv:2406.13533},
year = {2025}
}
备注
This paper has been submitted to a peer-reviewed journal and is currently under review