TornadoAggregate：基于环形架构的准确且可扩展联邦学习
机器学习
2021-10-05 v2 分布式、并行与集群计算
摘要
联邦学习已成为协作机器学习的一种新范式；然而，许多先前的研究使用星型拓扑上的全局聚合，而未充分考虑通信可扩展性或依赖于客户端本地时间多样性的昼夜特性。相比之下，环形架构可以通过无聚合地迭代节点来解决可扩展性问题，甚至满足昼夜特性。然而，此类基于环形的算法本质上会受到高方差问题的困扰。为此，我们提出了一种称为 TornadoAggregate 的新算法，通过促进环形架构来同时提升准确率和可扩展性。具体而言，为提高准确率，我们将损失最小化重新表述为方差缩减问题，并确立了三个缩减方差的原则：环形感知分组、小环和环链接。实验结果表明，TornadoAggregate 将测试准确率提高了至多 26.7%，并实现了近线性可扩展性。
引用
@article{arxiv.2012.03214,
title = {TornadoAggregate: Accurate and Scalable Federated Learning via the Ring-Based Architecture},
author = {Jin-woo Lee and Jaehoon Oh and Sungsu Lim and Se-Young Yun and Jae-Gil Lee},
journal= {arXiv preprint arXiv:2012.03214},
year = {2021}
}