流形上的联邦学习：一种无梯度投影方法
最优化与控制
2025-08-22 v2 机器学习
摘要
联邦学习（Federated Learning，FL）已成为一种在分布式客户端之间进行协作模型训练且保持数据隐私的强大范式。然而，现有的联邦学习算法主要关注无约束优化问题，依赖精确梯度信息，限制了其在仅可获取噪声函数评估或模型参数受约束场景中的适用性。为此，我们提出了一种用于联邦学习的黎曼流形上的新型零阶投影算法。通过利用投影算子，我们引入了一种计算效率高的零阶黎曼梯度估计器。与现有估计器不同，本方法仅需简单的欧几里得随机扰动，无需在切空间中采样随机向量，从而降低了计算成本。理论上，我们首先证明了该估计器的近似性质，然后建立了所提出算法的亚线性收敛性，使其收敛率与其一阶 counterparts 相同。数值上，我们首先评估了估计器的效率，采用核主成分分析。进一步地，我们将所提出算法应用于两个实际场景：深度神经网络上的零阶攻击和低秩神经网络训练，以验证理论发现。
引用
@article{arxiv.2507.22855,
title = {Federated Learning on Riemannian Manifolds: A Gradient-Free Projection-Based Approach},
author = {Hongye Wang and Zhaoye Pan and Chang He and Jiaxiang Li and Bo Jiang},
journal= {arXiv preprint arXiv:2507.22855},
year = {2025}
}