随机展开联邦学习
机器学习
2024-02-08 v2 信号处理
摘要
算法展开已作为一种基于学习的优化范式出现，其在可训练的神经网络优化器中展开截断迭代算法。我们提出随机展开联邦学习(SURF)，一种将算法展开扩展到联邦学习以加速其收敛的方法。我们提出的方法应对了这一扩展的两个挑战，即需要向展开优化器输入整个数据集以寻找下降方向，以及联邦学习的去中心化本质。我们通过向每个展开层输入随机小批量并施加下降约束以保证其收敛，从而规避了前一个挑战。我们通过将分布式梯度下降(DGD)算法展开在基于图神经网络(GNN)的展开架构中来解决后一个挑战，该架构保留了联邦学习中训练的去中心化本质。我们从理论上证明了我们所提出的展开优化器无限频繁地收敛到近最优区域。通过大量数值实验，我们也展示了所提出框架在图像分类器协同训练中的有效性。
引用
@article{arxiv.2305.15371,
title = {Stochastic Unrolled Federated Learning},
author = {Samar Hadou and Navid NaderiAlizadeh and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:2305.15371},
year = {2024}
}