FedCAda：用于加速和稳定联邦学习的自适应客户端优化
机器学习
2024-05-21 v1 分布式、并行与集群计算
摘要
联邦学习(FL)已成为一种在分布式客户端之间协作训练机器学习模型的热门方法，同时保持数据隐私。然而，在客户端寻求在加速度和稳定性之间取得平衡已成为重大挑战。本文引入FedCAda，这是一种创新的联邦客户端自适应算法，旨�解决这一挑战。FedCAda利用Adam算法调整客户端上第一时刻估计m和第二时刻估计v的校正过程，并在服务器端聚合自适应算法参数，旨在加快收敛速度和通信效率，同时确保稳定性和性能。此外，我们研究了几种包含不同调整函数的算法。这种比较分析揭示了由于在联邦学习初始阶段，来自其他客户端的客户端模型中包含的有限信息，需要对自适应算法的参数施加更大的约束。随着联邦学习的进行，客户端收集到更多全局信息后，FedCAda会逐渐减小对自适应参数的影响。这些发现为增强算法改进的鲁棒性和效率提供了见解。在计算机视觉(CV)和自然语言处理(NLP)数据集上的大量实验表明，FedCAda在适应性、收敛、稳定性和整体性能方面均优于最新方法。这一工作为联邦学习的自适应算法提供了贡献，鼓励进一步探索。
引用
@article{arxiv.2405.11811,
title = {FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning},
author = {Liuzhi Zhou and Yu He and Kun Zhai and Xiang Liu and Sen Liu and Xingjun Ma and Guangnan Ye and Yu-Gang Jiang and Hongfeng Chai},
journal= {arXiv preprint arXiv:2405.11811},
year = {2024}
}