不可靠通信下的去中心化联邦学习
信息论
2021-08-06 v1 math.IT
摘要
去中心化联邦学习继承自去中心化学习，使边缘设备能够以点对点方式在无服务器协助的情况下协作进行模型训练。然而，现有的去中心化学习框架通常假设设备间通信完美，即可以可靠地交换消息（例如梯度或参数）。但现实世界的通信网络容易出现丢包和传输错误。传输可靠性是有代价的。常用的解决方案是采用可靠传输层协议，例如传输控制协议（TCP），但这会导致显著的通信开销并降低可支持的设备间连接性。针对采用轻量级且不可靠的通信协议——用户数据报协议（UDP）的通信网络，我们提出了一种鲁棒的去中心化随机梯度下降（SGD）方法，称为Soft-DSGD，以解决不可靠性问题。Soft-DSGD利用部分接收到的消息更新模型参数，并根据通信链路的链路可靠性矩阵优化混合权重。我们证明了即便在不可靠通信下，所提出的去中心化训练系统仍能达到与完美通信下原始去中心化SGD相同的渐近收敛速率。此外，数值结果证实所提方法能够利用所有可用的不可靠通信链路来加速收敛。
引用
@article{arxiv.2108.02397,
title = {Decentralized Federated Learning with Unreliable Communications},
author = {Hao Ye and Le Liang and Geoffrey Li},
journal= {arXiv preprint arXiv:2108.02397},
year = {2021}
}