无政府联邦学习
机器学习
2022-06-13 v4 分布式、并行与集群计算
摘要
当前部署在边缘网络上的联邦学习(FL)系统由大量在数据和/或计算能力上高度异构的工作节点组成,这要求在工作节点的参与时机、付出、数据异构性等方面具有灵活性。为满足灵活参与的需求,我们在本文中考虑一种称为“无政府联邦学习”(AFL)的新 FL 范式。与常规 FL 模型形成鲜明对比, AFL 中每个工作节点可自由选则 i) 何时参与 FL,以及 ii) 每轮根据当前状况(如电量水平、通信信道、隐私顾虑)执行的本地步数。然而, AFL 中此类混乱的工作节点行为给算法设计带来了诸多新的开放问题。特别地,能否开发收敛的 AFL 训练算法,以及若可以,在何种条件下且收敛速度多快,仍不清楚。为此,我们提出两种具有双边学习率的“无政府联邦平均”(AFA)算法,分别适用于跨设备与跨孤岛场景,命名为 AFA-CD 与 AFA-CS。有些令人意外的是,我们证明在温和的无政府假设下,两种 AFL 算法取得了与最先进常规 FL 算法相同的已知最优收敛速率。此外,它们在新 AFL 范式下保留了关于工作节点数与本地步数高度理想的{\em 线性加速效应}。我们在真实数据集上通过大量实验验证了所提算法。
引用
@article{arxiv.2108.09875,
title = {Anarchic Federated Learning},
author = {Haibo Yang and Xin Zhang and Prashant Khanduri and Jia Liu},
journal= {arXiv preprint arXiv:2108.09875},
year = {2022}
}
备注
Accepted for Long Presentation in ICML 2022