应对联邦学习中的计算异构性：若干理论洞见

机器学习的未来在于将数据采集与训练一同移至边缘。联邦学习（简称 FL）近期被提出以实现这一目标。该方法的原则是聚合在大量分布式客户端（即从其环境收集数据的资源受限移动设备）上学习的模型，以获得一个更新、更具通用性的模型。随后该模型被重新分发给客户端以进一步训练。联邦学习区别于基于数据中心的分布式训练的一个关键特征是其固有的异构性。在本工作中，我们引入并分析了一种新颖的聚合框架，能够从异构数据与局部更新的角度形式化并处理联邦优化中的计算异构性。所提出的聚合算法从理论与实验两方面得到了广泛分析。