异构联邦学习中用于客户端效用评估的知识反刍
机器学习
2025-03-25 v2
摘要
联邦学习 (Federated Learning, FL) 允许多个客户端在不泄露原始数据的情况下协作训练机器学习模型。在实际应用中，与同步 FL 相比，异步 FL (asynchronous FL, AFL) 能够缓解落后者效应。然而，Non-IID 数据和陈旧模型给 AFL 带来了重大挑战，因为它们会降低全局模型的实用性，甚至导致训练失败。在本工作中，我们提出了一种名为联邦历史学习 (Federated Historical Learning, FedHist) 的新型 AFL 框架，该框架基于知识反刍的概念，有效应对 Non-IID 数据和梯度陈旧性带来的挑战。FedHist 通过与服务器上缓存的历史全局梯度进行加权融合，增强了局部梯度的稳定性。借助后见之明，它在每次通信轮次中以多维方式为每个参与者分配聚合权重。为了进一步提高训练过程的效率和稳定性，我们引入了一种智能 -范数放大方案，该方案根据提交梯度的 -范数动态调节学习进度。大量实验表明，FedHist 在收敛性能和测试准确率方面均优于 SOTA 方法。
关键词
引用
@article{arxiv.2312.10425,
title = {Knowledge Rumination for Client Utility Evaluation in Heterogeneous Federated Learning},
author = {Xiaorui Jiang and Yu Gao and Hengwei Xu and Qi Zhang and Yong Liao and Pengyuan Zhou},
journal= {arXiv preprint arXiv:2312.10425},
year = {2025}
}