面向联邦优化的稳定近端点方法

在开发高效优化算法时，必须考虑通信约束——这在现代联邦学习中是一个重大挑战。已知的最佳通信复杂度非加速算法是 DANE，这是一个分布式近端点算法，在每个迭代中求解局部子问题并可利用各个函数之间的二阶相似性。然而，为实现这种通信效率，算法需要足够准确地求解局部子问题，导致局部复杂度略次优。灵感来自混合投影近端点方法，本文提出了一种新的分布式算法 S-DANE。与 DANE 相比，该方法使用一系列辅助近端中心，同时保持相同的确定性通信复杂度。此外，求解子问题的精度条件较为温和，导致局部计算效率得到提升。此外，S-DANE 支持部分客户端参与和任意随机局部求解器，使其在实际应用中更具吸引力。我们进一步加速了 S-DANE，证明所得算法在分布式凸优化中已知的所有方法中实现了最佳的通信复杂度，同时仍保持良好的局部计算效率。最后，我们提出了两者的自适应变体，使用线搜索，获得了第一个在无需任何参数先验知识的情况下即可利用局部二阶相似性的可证明高效自适应算法。