跨孤岛环境中用于节能训练与加速收敛的半同步联邦学习
机器学习
2022-06-28 v2
摘要
在某些情况下,与机器学习问题相关的数据分布在多个地点,由于监管、竞争或隐私原因这些地点无法共享数据。需要将数据复制到单一地点的机器学习方法受到数据共享挑战的阻碍。联邦学习(FL)是一种有前景的方法,可在所有孤岛的可用数据上学习联合模型。在许多情况下,参与联邦的站点具有不同的数据分布和计算能力。在这些异构环境中,现有方法表现出较差的性能:同步 FL 协议通信高效,但学习收敛慢且能量成本高;反之,异步 FL 协议收敛更快且能量成本更低,但通信开销更高。在这项工作中,我们引入了一种新颖的节能半同步联邦学习协议,该协议以最小空闲时间周期性混合局部模型并实现快速收敛。我们通过计算机视觉领域已建立的基准数据集以及真实世界生物医学环境中的大量实验表明,我们的方法在数据异构和计算异构环境中显著优于先前工作。
引用
@article{arxiv.2102.02849,
title = {Semi-Synchronous Federated Learning for Energy-Efficient Training and Accelerated Convergence in Cross-Silo Settings},
author = {Dimitris Stripelis and Jose Luis Ambite},
journal= {arXiv preprint arXiv:2102.02849},
year = {2022}
}
备注
30 pages, 12 figures