利用并行坐标下降法平滑最小化非光滑函数

我们研究了一族随机并行坐标下降法在最小化非光滑可分凸函数之和时的性能。该问题类包括 L1 正则化 L1 回归和指数损失最小化（"AdaBoost 问题"）作为特例。我们假设定义损失函数的输入数据包含在一个稀疏 $m\times n$ 矩阵 $A$ 中，且每行最多有 $\omega$ 个非零元。我们的方法需要 $O(n \beta/\tau)$ 次迭代以高概率找到近似解，其中 $\tau$ 是处理器数量，对于最快变体 $\beta = 1 + (\omega-1)(\tau-1)/(n-1)$。该记号隐藏了对所需精度、置信水平以及起始迭代点与最优点距离等量的依赖。由于 $\beta/\tau$ 是 $\tau$ 的减函数，使用更多处理器时所需的迭代次数更少。我们算法的某些变体在每个处理器的单次迭代中平均仅执行 $O(\nnz(A)/n)$ 次算术运算，并且由于 $\beta$ 随 $\omega$ 减小而减小，对于更稀疏的问题所需的迭代次数更少。