D-SPIDER-SFO：一种用于非凸问题且具有更快收敛速度的去中心化优化算法
机器学习
2019-12-02 v1 最优化与控制
机器学习
摘要
去中心化优化算法近年来引起了广泛关注，因为它具有均衡的通信模式，特别是在求解大规模机器学习问题时。随机路径积分微分估计器随机一阶方法（SPIDER-SFO）在非凸问题的某些 regime 下几乎达到了算法下界。然而，我们是否能找到一种达到与SPIDER-SFO相似收敛速度的去中心化算法仍不清楚。为解决此问题，我们提出了SPIDER-SFO的去中心化变体，称为去中心化SPIDER-SFO（D-SPIDER-SFO）。我们表明D-SPIDER-SFO达到了与其集中式对应算法相似的梯度计算代价——即寻找ϵ-近似一阶驻点需要——。据我们所知，就计算代价而言，D-SPIDER-SFO在去中心化网络上求解非凸优化问题达到了最先进的性能。在不同网络配置上的实验证明了所提方法的效率。
引用
@article{arxiv.1911.12665,
title = {D-SPIDER-SFO: A Decentralized Optimization Algorithm with Faster Convergence Rate for Nonconvex Problems},
author = {Taoxing Pan and Jun Liu and Jie Wang},
journal= {arXiv preprint arXiv:1911.12665},
year = {2019}
}