凸有限和复合优化的 Katyusha 加速

结构化问题出现在许多应用中。为解决这些问题，利用结构信息十分重要。本文关注具有有限和复合结构的凸问题。有限和问题作为随机优化问题的样本平均近似出现，也出现在具有海量训练数据的机器学习中。有限和问题的一种常用数值方法是随机梯度法（SGM）。然而，额外的复合结构使得难以获得梯度的无偏随机近似，因此直接将 SGM 应用于有限和复合优化问题（COP）通常效率低下。我们设计了求解强凸及凸两层有限和 COP 的新算法。我们的设计结合了 Katyusha 加速技术，并采用来自外层与内层有限和的 mini-batch 采样。我们首先分析强凸有限和 COP 的算法。与若干现有工作类似，我们在期望目标误差意义上获得线性收敛率，并由此收敛率结果建立了算法产生 $\varepsilon$-解的复杂度结果。我们的复杂度结果在分量函数数量上的依赖与现有工作相同。然而，由于使用 Katyusha 加速，我们的结果在条件数 $\kappa$ 上的依赖更优，从最佳已知的 $\kappa^3$ 改进到 $\kappa^{2.5}$。最后，我们分析凸有限和 COP 的算法，其将强凸有限和 COP 的算法作为子程序。同样，我们在 $\varepsilon$ 的依赖上获得比现有工作更优的复杂度结果，从最佳已知的 $\varepsilon^{-3}$ 改进到 $\varepsilon^{-2.5}$。