用于凸与非凸复合问题的随机控制随机梯度法

本文考虑具有结构 $\frac{1}{n}\sum\nolimits_{i = 1}^n {{F_i}( {G( x )} )}$ 的凸与非凸复合问题,其中 $G( x )=\frac{1}{n}\sum\nolimits_{j = 1}^n {{G_j}( x )}$ 为内层函数,$F_i(\cdot)$ 为外层函数。我们探索基于方差缩减的方法来求解复合优化问题。由于当内层函数与外层函数数量较大时直接估计它们并不合理,因此我们应用随机控制随机梯度(SCSG)方法来估计复合函数的梯度及内层函数的值。我们所提方法对于凸与非凸问题的查询复杂度等于或优于当前复合问题的求解方法。此外,我们还给出了所提方法的小批量(mini-batch)版本,其查询复杂度相对于小批量大小有所改善。