无对偶方法的随机复合优化

我们考虑具有两个期望函数的复合优化，其形式为 $\frac{1}{n}\sum\nolimits_{i = 1}^n F_i(\frac{1}{m}\sum\nolimits_{j = 1}^m G_j(x))+R(x)$，{ 其表述了统计学习与机器学习中的许多重要问题，如强化学习中的Bellman方程求解和非线性嵌入 }。由于内部期望 $\frac{1}{m}\sum\nolimits_{j = 1}^m G_j(x)$，全梯度或基于经典随机梯度下降的优化算法不适合或计算代价高昂来求解该问题。我们提出一种基于无对偶的随机复合方法，结合方差缩减方法来处理随机复合问题。我们应用基于SVRG和SAGA的方法来估计内部函数，并使用无对偶方法来估计外部函数。我们证明了不仅对于凸复合问题，而且对于各个外部函数非凸而目标函数强凸的情况，均具有线性收敛速率。我们还提供了表明所提方法有效性的实验结果。