鲁棒联邦学习：仿射分布偏移的情形
机器学习
2020-06-17 v1 最优化与控制
机器学习
摘要
联邦学习是一种分布式范式，旨在利用网络中多个用户分布的样本训练模型，同时将样本保留在用户设备上，以兼顾效率与保护用户隐私。在此类设置中，训练数据常具有统计异质性，并表现出跨用户的各种分布偏移，这会降低所学模型的性能。本文的主要目标是开发一种鲁棒联邦学习算法，在用户样本的分布偏移下取得令人满意的性能。为实现该目标，我们首先考虑用户数据中一种结构化的仿射分布偏移，其刻画了联邦设置中设备相关的数据异质性。该扰动模型适用于多种联邦学习问题，例如图像分类中图像经历设备相关的瑕疵，如不同的强度、对比度和亮度。为应对跨用户的仿射分布偏移，我们提出一种对仿射分布偏移鲁棒的联邦学习框架（FLRA），该框架对观测样本分布的仿射 Wasserstein 偏移具有可证明的鲁棒性。为求解 FLRA 的分布式极小极大问题，我们提出一种快速高效的优化方法，并通过梯度下降上升（GDA）方法提供收敛保证。我们进一步证明了所学分类器的泛化误差界，以表明从样本经验分布到真实潜在分布的正确泛化。我们进行了若干数值实验以实证支持 FLRA。我们展示了仿射分布偏移确实足以显著降低新测试用户中学得分类器的性能，且我们提出的算法相比标准联邦学习和对抗训练方法取得了显著增益。
引用
@article{arxiv.2006.08907,
title = {Robust Federated Learning: The Case of Affine Distribution Shifts},
author = {Amirhossein Reisizadeh and Farzan Farnia and Ramtin Pedarsani and Ali Jadbabaie},
journal= {arXiv preprint arXiv:2006.08907},
year = {2020}
}