加速、并行及近端坐标下降法

我们提出了一种新的随机坐标下降法，用于最小化凸函数之和，其中每个函数仅依赖于少量坐标。我们的方法 (APPROX) 同时具备加速 (Accelerated)、并行 (Parallel) 和近端 (PROXimal) 特性；这是首次提出此类方法。在处理器数量等于坐标数量的特殊情况下，该方法以$2\bar{\omega}\bar{L} R^2/(k+1)^2$的速率收敛，其中$k$为迭代计数器，$\bar{\omega}$为损失函数的平均可分度，$\bar{L}$为与坐标及求和中的单个函数相关的 Lipschitz 常数的平均值，$R$为初始点到最小值点的距离。我们表明，该方法的实现无需执行全维向量运算，而这是现有加速坐标下降法的主要瓶颈。该方法依赖于平均可分度而非最大可分度这一事实，可归因于使用了新的安全大步长，从而改进了期望可分过近似 (ESO)。这些成果具有独立意义，并可应用于所有基于 ESO 概念的现有并行随机坐标下降算法中。