高效自适应联邦优化

自适应优化在联邦学习中至关重要，已证明在服务器和客户端两侧实现自适应对于实现最佳性能至关重要。然而，通信和内存资源限制常常阻碍了此类联合自适应系统的可扩展性。本文引入了一类高效自适应算法，称为$FedAda^2$及其增强版本$FedAda^2$++，专为大规模、跨设备的联邦环境设计。$FedAda^2$通过避免在服务器和客户端之间传输 preconditioner 来优化通信效率。此外，$FedAda^2$++通过在客户端侧整合内存高效的自适应优化器，进一步减少了设备端的内存使用。理论上，我们证明了$FedAda^2$和$FedAda^2$++对于一般非凸目标具有与其更资源密集型的对应物相同的收敛率。广泛的实证评估在图像和文本数据集上表明了联合自适应性的优势以及$FedAda^2$/$FedAda^2$++的有效性。