分布鲁棒联邦平均
机器学习
2021-02-26 v1 分布式、并行与集群计算
机器学习
摘要
本文研究通过周期平均与自适应采样的通信高效分布式算法，用于分布鲁棒联邦学习。与标准经验风险最小化不同，由于底层优化问题的极小极大结构，一个关键困难在于控制局部损失混合的全局参数只能在全局阶段不频繁更新。为此，我们提出分布鲁棒联邦平均（DRFA）算法，采用一种新颖的快照方案来近似混合参数历史梯度的累积。我们分析了DRFA在凸-线性与非凸-线性设置下的收敛速率。我们还将所提思想推广到对混合参数正则化的目标，并提出一种近端变体，称为DRFA-Prox，具有可证明的收敛速率。我们还分析了在强凸-强凹与非凸（在PL条件下）-强凹设置下正则化情形的替代优化方法。据我们所知，本文首次以 reduced communication 解决分布鲁棒联邦学习，并分析局部下降方法在分布式极小极大问题上的效率。我们给出了联邦学习设置下理论结果的佐证实验。
引用
@article{arxiv.2102.12660,
title = {Distributionally Robust Federated Averaging},
author = {Yuyang Deng and Mohammad Mahdi Kamani and Mehrdad Mahdavi},
journal= {arXiv preprint arXiv:2102.12660},
year = {2021}
}
备注
Published in NeurIPS 2020: https://proceedings.neurips.cc/paper/2020/hash/ac450d10e166657ec8f93a1b65ca1b14-Abstract.html