一次性联邦学习：理论极限与达成算法
机器学习
2020-01-01 v5 分布式、并行与集群计算
机器学习
摘要
我们考虑一次性设置下的分布式统计优化，其中有m台机器，每台观测n个独立同分布样本。基于其观测样本，每台机器向服务器发送一条长度为B比特的消息。服务器随后收集所有机器的消息，并估计使期望凸损失函数最小化的参数。我们研究了通信约束B对期望误差的影响，并推导了任何算法可达成误差的紧下界。然后我们提出一种称为多分辨率估计器（Multi-Resolution Estimator, MRE）的估计器，其期望误差（当B≥log mn时）在上述下界至多相差多对数因子范围内与之相符，从而是阶最优的。我们还处理了微小通信预算下的学习问题，并给出了B为常数时的误差下界和上界。与现有算法不同，MRE的期望误差随着机器数（m）趋于无穷而趋于零，即使每台机器的样本数（n）保持为常数的上界。MRE算法的这一性质使其适用于m远大于n的新机器学习范式。
引用
@article{arxiv.1905.04634,
title = {One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them},
author = {Saber Salehkaleybar and Arsalan Sharifnassab and S. Jamaloddin Golestani},
journal= {arXiv preprint arXiv:1905.04634},
year = {2020}
}