通信高效的不可知联邦平均算法
机器学习
2021-06-17 v2
摘要
在联邦学习等分布式学习场景中，训练算法可能潜在地偏向不同客户端。Mohri 等人（2019）提出了一种域不可知学习算法，其中模型针对由客户端分布混合构成的任意目标分布进行优化，以克服该偏差。他们进一步针对跨孤岛联邦学习场景（客户端数量较少）提出了一种算法。我们在跨设备场景中考虑该问题，其中客户端数量大得多。我们提出了一种称为不可知联邦平均（Agnostic Federated Averaging，或 AgnosticFedAvg）的通信高效分布式算法，以最小化 Mohri 等人（2019）提出的域不可知目标，该算法可适配安全聚合等其他隐私机制。我们强调了联邦学习中两类自然出现的域，并论证 AgnosticFedAvg 在两者上均表现良好。为展示 AgnosticFedAvg 的实用有效性，我们报告了在仿真与现场实验中对大规模语言建模任务的积极结果，其中后者涉及为数百万用户设备的西班牙语虚拟键盘训练语言模型。
引用
@article{arxiv.2104.02748,
title = {Communication-Efficient Agnostic Federated Averaging},
author = {Jae Ro and Mingqing Chen and Rajiv Mathews and Mehryar Mohri and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:2104.02748},
year = {2021}
}