不可知联邦学习
机器学习
2019-02-04 v1 机器学习
摘要
大规模应用中的一个关键学习场景是联邦学习，其中集中式模型基于来自大量客户端的数据进行训练。我们认为，在现有训练和推理下，联邦模型可能偏向不同客户端。相反，我们提出了一种不可知联邦学习的新框架，其中集中式模型针对由客户端分布混合形成的任意目标分布进行优化。我们进一步表明，该框架自然产生一种公平性概念。我们给出了针对该目标学习的数据相关 Rademacher 复杂度保证，其指导了不可知联邦学习算法的定义。我们还给出了一个用于求解相应优化问题的快速随机优化算法，并证明了其收敛界，假设损失函数和假设集为凸。我们进一步在多个数据集上实证展示了我们方法的益处。除联邦学习外，我们的框架和算法也可用于其他学习场景，如云计算、域适应、漂移，以及训练与测试分布不一致的其他情境。
引用
@article{arxiv.1902.00146,
title = {Agnostic Federated Learning},
author = {Mehryar Mohri and Gary Sivek and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:1902.00146},
year = {2019}
}
备注
30 pages