具全局损失收敛保证的联邦动力学低秩训练
机器学习
2024-06-27 v1 人工智能
最优化与控制
摘要
本文提出一种联邦动力学低秩训练 (FeDLRT) 框架，以降低水平联邦学习中客户端的计算和通信成本——这两种性能瓶颈。该方法基于针对流形约束优化的动力学低秩分解方案，构建网络权重的全局低秩基，使客户端可在小系数矩阵上进行训练。一致的全局低秩基使我们能够纳入方差校正方案，并证明全局损失的下降及收敛至平稳点。动态增强和截断低秩基自动优化计算和通信资源利用。我们在多项计算机视觉基准测试中展示了 FeDLRT 的效率，显示其在保持全局准确性的前提下，可将客户端计算和通信成本降低最高可达一个数量级。
引用
@article{arxiv.2406.17887,
title = {Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees},
author = {Steffen Schotthöfer and M. Paul Laiu},
journal= {arXiv preprint arXiv:2406.17887},
year = {2024}
}