用于复合优化的无导数方法及其在去中心化分布式优化中的应用
最优化与控制
2021-06-16 v5
摘要
在本文中，我们基于 Lan (2016, 2019) 的滑动算法，针对包含光滑项与非光滑项两项的凸复合优化问题提出一种新方法。我们的方法对非光滑部分使用随机带噪零阶预言机，对光滑部分使用一阶预言机。据我们所知，这是文献中首个将此类混合预言机用于复合优化的方法。我们证明了新方法的收敛速率与一阶方法的相应速率相匹配，仅相差一个与空间维数成正比的因子，或在某些情况下与其平方对数成正比的因子。我们将该方法应用于去中心化分布式优化，并推导出该方法通信轮数的上界，该上界与已知下界相匹配。此外，我们对每个节点的零阶预言机调用次数的上界，与一阶去中心化分布式优化的类似前沿上界相匹配，仅相差与空间维数成正比的因子，或在某些情况下甚至与其平方对数成正比的因子。
引用
@article{arxiv.1911.10645,
title = {Derivative-Free Method For Composite Optimization With Applications To Decentralized Distributed Optimization},
author = {Aleksandr Beznosikov and Eduard Gorbunov and Alexander Gasnikov},
journal= {arXiv preprint arXiv:1911.10645},
year = {2021}
}