关于最小化具有不同条件数的强凸函数之和的梯度复杂度分析
最优化与控制
2022-08-16 v1
摘要
最小化凸函数有限和的一种流行方法是随机梯度下降（SGD）及其变体。与SGD相关的基础研究问题包括：（i）寻找每个单独函数的梯度预言机必须被评估次数的下界，以便找到整体目标的-极小元；（ii）设计算法，保证以不超过某一次数（关于）评估每个函数的梯度预言机（即上界），在期望中找到整体目标的-极小元。如果这两个界处于同一数量级，则该算法可称为最优的。现有沿此研究路线的大多数结果通常假设目标中的函数共享相同的条件数。在本文中，我们研究的第一个模型是最小化有限个条件数各不相同的强凸函数之和的问题。我们针对该模型提出了一种SGD方法，并证明其梯度计算在最坏情况下是最优的，直至一个对数因子。接着，我们考虑一个约束可分块优化模型，并给出其梯度计算复杂度的下界和上界。随后，我们提出通过前面引入的SGD求解该约束块优化模型的Fenchel对偶，并证明其迭代复杂度低于通过ADMM型方法求解原模型。最后，我们将分析推广到一般复合凸优化模型，并在一定条件下获得了梯度计算复杂度结果。
引用
@article{arxiv.2208.06524,
title = {A Gradient Complexity Analysis for Minimizing the Sum of Strongly Convex Functions with Varying Condition Numbers},
author = {Nuozhou Wang and Shuzhong Zhang},
journal= {arXiv preprint arXiv:2208.06524},
year = {2022}
}