一种超越自协和性且在输入稀疏时间内求解 $\ell_p$ 回归的同伦方法

我们考虑线性回归问题，其中 $\ell_2^n$ 范数损失（即通常的最小二乘损失）被 $\ell_p^n$ 范数替代。我们展示了如何以 $O^*(n^{|1/2 - 1/p|})$ 次（稠密）矩阵-向量乘积和 $O^*(1)$ 次矩阵求逆，或等价地以 $O^*(n^{|1/2 - 1/p|})$ 次（稀疏）线性系统求解器调用来将此类问题求解至机器精度。这改进了任意 $p\notin \{1,2,+\infty\}$ 的现有最优结果。此外，我们还提出了一种以输入稀疏时间（即 $O^*(Z + \mathrm{poly}(d))$，其中 $Z$ 为输入规模、$d$ 为变量数）求解此类问题的随机化算法。此前该结果仅对 $p=2$ 已知。最后，我们通过证明 $\ell_p^n$ 单位球上的任意对称自协和障碍函数的自协和参数为 $\tilde{\Omega}(n)$，表明这些结果超出了 Nesterov-Nemirovski 内点法理论的范围。