基于Lewis权重的拟自和谐优化

本文研究问题 $\min_{x\in \mathbb{R}^{d},Nx=v}\sum_{i=1}^{n}f((Ax-b)_{i})$，其中 $f:\mathbb{R}\to\mathbb{R}$ 为拟自和谐函数，$A,N$ 分别为 $n\times d$ 和 $m\times d$ 矩阵，$b,v$ 分别为长度为 $n$ 和 $m$ 的向量，且 $n\ge d$。我们提出一种基于信赖域方法的算法，该算法借助一个可通过 $\widetilde{O}(d^{1/3})$ 次线性方程组求解实现的预言机，改进了 [Adil-Bullins-Sachdeva, NeurIPS 2021] 中 $\widetilde{O}(n^{1/3})$ 次调用的预言机。我们预言机的实现依赖于求解超定 $\ell_{\infty}$-回归问题 $\min_{x\in\mathbb{R}^{d},Nx=v}\|Ax-b\|_{\infty}$。我们提供了一种算法，该算法使用 $O((d^{1/3}/\epsilon+1/\epsilon^{2})\log(n/\epsilon))$ 次线性方程组求解，即可找到该问题的 $(1+\epsilon)$-近似解。该算法利用 $\ell_{\infty}$ Lewis 权重估计，并通过一种受 [Ene-Vladu, ICML 2019] 工作启发的简单轻量级 IRLS 方法实现了这一迭代复杂度。实验表明，我们的算法显著提升了标准 CVX 求解器的运行时间。