开放联邦学习系统的稳定性分析
机器学习
2023-03-14 v2 系统与控制
系统与控制
最优化与控制
摘要
我们考虑开放联邦学习(FL)系统，其中客户端可能在 FL 过程中加入和/或离开系统。鉴于在线客户端数量的可变性，开放系统中无法保证收敛到固定模型。相反，我们采用一种称为开放 FL 系统稳定性的新性能指标，其量化开放系统中所学模型的量级。在假设本地客户端函数为强凸且光滑的条件下，我们从理论上量化了两种 FL 算法（即本地 SGD 与本地 Adam）的稳定性半径。我们观察到该半径依赖于若干关键参数，包括函数条件数以及随机梯度方差。我们的理论结果进一步通过在合成与真实世界基准数据集上的数值模拟得到验证。
引用
@article{arxiv.2209.12307,
title = {On the Stability Analysis of Open Federated Learning Systems},
author = {Youbang Sun and Heshan Fernando and Tianyi Chen and Shahin Shahrampour},
journal= {arXiv preprint arXiv:2209.12307},
year = {2023}
}