解决异构联邦优化中的目标不一致问题
机器学习
2020-07-16 v1 分布式、并行与集群计算
机器学习
摘要
在联邦优化中，客户端本地数据集与计算速度的不均匀性导致各客户端在每轮通信中执行的本地更新次数差异很大。对此类模型进行朴素的加权平均会导致目标不一致，即全局模型收敛到错配目标函数的驻点，该驻点可与真实目标任意不同。本文提供了一个通用框架来分析联邦异构优化算法的收敛性。它包含了先前提出的 FedAvg 和 FedProx 等方法，并首次对由目标不一致引起的解偏置与收敛变慢给出了原理性理解。利用该分析的见解，我们提出了 FedNova，一种归一化平均方法，在消除目标不一致的同时保持快速的误差收敛。
引用
@article{arxiv.2007.07481,
title = {Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization},
author = {Jianyu Wang and Qinghua Liu and Hao Liang and Gauri Joshi and H. Vincent Poor},
journal= {arXiv preprint arXiv:2007.07481},
year = {2020}
}