非凸损失函数下一次性联邦学习的阶最优界
机器学习
2024-02-07 v3
摘要
我们考虑一次性设置下的联邦学习问题，其中有 台机器，每台机器从非凸损失函数上的未知分布观测到 个样本函数。令 为该未知分布下的期望损失函数。目标是找到 的最小化子的估计。基于其观测，每台机器生成长度为 的有界信号并发送给服务器。服务器收集所有机器的信号并输出 的最小化子的估计。我们证明任何算法的期望损失下界为 ，至多相差一个对数因子。然后我们提出一种称为非凸损失函数的多分辨率估计器（MRE-NC）的分布式学习算法，其期望损失在 较大时至多相差多对数因子地匹配该下界，从而证明该下界在 和 上是阶最优的。
引用
@article{arxiv.2108.08677,
title = {Order Optimal Bounds for One-Shot Federated Learning over non-Convex Loss Functions},
author = {Arsalan Sharifnassab and Saber Salehkaleybar and S. Jamaloddin Golestani},
journal= {arXiv preprint arXiv:2108.08677},
year = {2024}
}