带随机预处理的$\ell_p$回归的加权SGD

近年来，随机梯度下降(SGD)方法和随机线性代数(RLA)算法已被应用于机器学习和数据分析中的许多大规模问题。我们旨在缩小这两种方法在解决约束超定线性回归问题（例如$\ell_2$和$\ell_1$回归问题）上的差距。我们提出一种名为pwSGD的混合算法，该算法利用RLA技术进行预处理并构造重要性采样分布，然后在预处理后的系统上执行带加权采样的类SGD迭代过程。我们证明pwSGD继承了仅依赖于线性系统较低维度的更快收敛速率，同时保持较低的计算复杂度。特别地，当求解大小为$n \times d$的$\ell_1$回归时，pwSGD在$\mathcal{O}(\log n \cdot \text{nnz}(A) + \text{poly}(d)/\epsilon^2)$时间内返回目标值具有$\epsilon$相对误差的近似解。该复杂度在$\epsilon$和$d$方面均一致优于RLA方法（当问题无约束时）。对于$\ell_2$回归，pwSGD在$\mathcal{O}(\log n \cdot \text{nnz}(A) + \text{poly}(d) \log(1/\epsilon) /\epsilon)$时间内返回目标值中具有$\epsilon$相对误差且解向量在预测范数下度量的近似解。我们还给出了更一般回归问题的核心集(coreset)复杂度的下界，表明仍需要新的思想才能将类似的RLA预处理思想扩展到用于更一般回归问题的加权SGD算法。最后，在合成和真实数据集上通过数值实验说明了此类算法的有效性。