面向任意延迟下异构目标的异步联邦随机优化

联邦学习(FL)最近被提出用于在中央服务器的协调下,安全地训练位于多个位置(“客户端”)的数据上的模型。由慢客户端引起的训练时间延长可能会阻碍FL的性能;虽然异步通信是一个有希望的解决方案,但在非独立同分布本地数据下高度异构的客户端响应时间可能会给全局模型引入显著偏差,特别是在采样不可行的客户端驱动设置中。为了解决这个问题,我们提出了异步精确平均(AREA),这是一种随机(次)梯度方法,利用异步性实现可扩展性,并使用客户端侧内存来纠正由不均匀参与引起的偏差,无需客户端采样或事先了解客户端延迟。AREA通信的是模型残差而非梯度估计,从而减少了对梯度反转的暴露,并且与安全聚合兼容。在标准假设以及具有有限均值的无界、异构延迟下,AREA实现了最优收敛速度:在强凸、光滑情况下为$\mathcal{O}(1/K)$,在凸、非光滑情况下为$\mathcal{O}(1/\sqrt{K})$。对于强凸、光滑目标,我们从理论和实验上证明,AREA比现有方法能容纳更大的步长,从而实现快速收敛而不会对模型泛化产生不利影响。在凸、非光滑设置中,据我们所知,我们是第一个获得收敛速度与平均客户端更新频率(而非最小或最大频率)成比例的方法,这表明对异常值具有更强的鲁棒性。