二阶相似性下的更快联邦优化

联邦学习（FL）是机器学习的一个子领域，多个客户端试图在通信约束下通过网络协作学习模型。我们考虑在二阶函数相似性与强凸性条件下的有限和联邦优化，并提出两种新算法：SVRP与催化SVRP。该二阶相似性条件近来日益流行，并在包括分布式统计学习与差分隐私经验风险最小化在内的许多应用中得到满足。第一种算法SVRP结合了近似随机近端点评估、客户端采样与方差缩减。我们证明SVRP具有通信高效性，且在函数相似性足够高时优于许多现有算法。我们的第二种算法催化SVRP是SVRP的Catalyst加速变体，实现了更优性能，并在二阶相似性与强凸性下的联邦优化中一致改进现有算法。在分析这些算法的过程中，我们给出了对随机近端点方法（SPPM）的新分析，其本身可能具有独立意义。我们对SPPM的分析简洁，允许近似近端点评估，无需任何光滑性假设，并显示出相对于普通分布式随机梯度下降在通信复杂度上的明显益处。