基于平均梯度流的黎曼几何联邦学习
机器学习
2025-10-21 v2 最优化与控制
摘要
联邦学习作为一种分布式学习范式在解决大规模机器学习任务方面具有显著优势。在欧几里得空间中，联邦学习算法已得到广泛研究，具有理论和实证成功。然而，目前仅有少数工作探讨了在黎曼几何设置下进行的联邦学习算法。特别是，部分参与和各智能体之间的数据异构性问题在黎曼联邦设置下尚未得到探索。本文提出并分析了一种联邦学习算法，称为RFedAGS，基于一种新的高效服务器聚合——平均梯度流，能够同时处理部分参与和数据异构性。我们理论上证明，所提RFedAGS在衰减步长情况下的收敛性和亚线性收敛速率；在固定步长情况下的收敛性为亚线性/线性收敛至稳态点/解的邻域。这些分析基于部分参与所引发的关键且非平凡假设，该假设在高概率下得到验证。在合成数据和真实数据上的大量实验表明，RFedAGS表现良好。
引用
@article{arxiv.2409.07223,
title = {Riemannian Federated Learning via Averaging Gradient Streams},
author = {Zhenwei Huang and Wen Huang and Pratik Jawanpuria and Bamdev Mishra},
journal= {arXiv preprint arXiv:2409.07223},
year = {2025}
}