拟自协调优化的统一降宽方法

我们提供了若干用于一大类凸问题约束优化的算法，包括softmax、$\ell_p$回归和逻辑回归。我们方法的核心在于降宽的概念，该技术在最大流[Christiano et al., STOC'11]以及最近的$\ell_p$回归[Adil et al., SODA'19]中已被证明极为有用，其将迭代复杂度从$O(m^{1/2})$改进到$\tilde{O}(m^{1/3})$，其中$m$为设计矩阵的行数，且每次迭代相当于求解一个线性系统。然而，一个相当大的缺陷是这些方法既需要特定问题的势函数，也需要各自定制的分析。作为我们的主要贡献，我们开创了一个新的研究方向，提出了首个实现$m^{1/3}$型复杂度的统一方法。值得注意的是，我们的方法超越了这些先前考虑的问题，更广泛地涵盖了拟自协调损失，该类损失近来引起大量关注，并包含如逻辑回归等被广泛研究的问题。为此，我们开发了一种统一的降宽方法，基于更一般的势函数来细致处理这些损失。此外，我们直接在约束设定下实现$m^{1/3}$型复杂度，无需任何显式加速方案，从而自然地补充了基于球预言方法的最新工作[Carmon et al., NeurIPS'20]。