FedADMM-InSa：一种用于联邦学习的不精确自适应 ADMM
机器学习
2024-08-01 v3 密码学与安全
分布式、并行与集群计算
最优化与控制
摘要
联邦学习 (FL) 是一个在保持隐私的同时从分布式数据中学习的有前景的框架。高效 FL 算法的开发面临各种挑战，包括数据和系统的异构性、有限的通信能力以及受限的本地计算资源。最近开发的 FedADMM 方法显示出对数据和系统异构性的强大韧性。然而，如果超参数未仔细调整，它们仍会遭受性能下降。为解决此问题，我们提出了一种不精确且自适应的 FedADMM 算法，称为 FedADMM-InSa。首先，我们为客户机的本地更新设计了一个不精确性准则，以消除经验性设置本地训练精度的需求。该不精确性准则可由每个客户机根据其独特条件独立评估，从而降低本地计算成本并缓解不良的拖尾效应。在强凸损失函数的假设下，证明了所得不精确 ADMM 的收敛性。此外，我们提出了一种自适应方案，动态调整每个客户机的惩罚参数，通过减少对各客户机经验性惩罚参数选择的依赖来增强算法鲁棒性。我们在合成数据集和真实世界数据集上进行了广泛的数值实验。正如一些数值测试所验证的，与原始 FedADMM 相比，我们提出的算法能显著减少客户机的本地计算负载并加速学习过程。
引用
@article{arxiv.2402.13989,
title = {FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning},
author = {Yongcun Song and Ziqi Wang and Enrique Zuazua},
journal= {arXiv preprint arXiv:2402.13989},
year = {2024}
}