具有$O(1/t)$收敛率的大规模约束凸规划原始对偶型算法

本文研究大规模约束凸规划，由于Hessian矩阵和矩阵求逆的计算和存储复杂度过高，其通常无法用内点法或其他牛顿型方法求解。相反，大规模约束凸规划常通过基于梯度的方法或基于分解的方法求解。传统的原始对偶次梯度法，亦称Arrow-Hurwicz-Uzawa次梯度法，是一种低复杂度算法，具有$O(1/\sqrt{t})$收敛率，其中$t$为迭代次数。若目标与约束函数可分离，拉格朗日对偶型方法可将大规模凸规划分解为多个并行的小规模凸规划。经典的对偶梯度算法是拉格朗日对偶型方法的一个例子，其收敛率为$O(1/\sqrt{t})$。最近，Yu和Neely (2015)提出了一种具有更快$O(1/t)$收敛率的新型拉格朗日对偶型算法。然而，若目标或约束函数不可分离，Yu和Neely (2015)的拉格朗日对偶型方法的每次迭代需要求解一个大规模无约束凸规划，这可能具有巨大复杂度。本文提出一种新的原始对偶型算法，其每次迭代仅涉及简单的梯度更新，并具有$O(1/t)$收敛率。