通信高效的联邦低秩更新算法及其与隐式正则化的关系
机器学习
2025-11-18 v2 人工智能
机器学习
摘要
联邦学习在扩展到众多客户端时面临显著的通信效率和性能下降挑战。为此，我们探索了使用低秩更新的潜力，并对联邦学习中的秩属性进行了首个理论性研究。我们的理论分析表明，单个客户端的损失函数具有更高的秩结构（即梯度跨越 Hessian 的更高秩子空间），而服务器损失的梯度则较低；此外，客户端梯度的低秩近似值彼此之间具有更大的相似性。基于此洞见，我们假设约束客户端侧优化于低秩子空间内可能产生隐式正则化效果，同时降低通信成本。因此，我们提出了 FedLoRU，即联邦学习的通用低秩更新框架。该框架强制执行低秩客户端更新并累积这些更新以形成更高秩的模型。我们能够建立该算法的收敛性；收敛率匹配 FedAvg。此外，FedLoRU 的变体可通过采用多个或分层低秩更新来适应统计和模型异构性较强的环境。实验结果表明，FedLoRU 在性能上与全秩算法相当，并且对异构性较大且客户端数量较多的情况表现出色。
引用
@article{arxiv.2409.12371,
title = {Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization},
author = {Haemin Park and Diego Klabjan},
journal= {arXiv preprint arXiv:2409.12371},
year = {2025}
}