具有 $\ell_\infty$ 保证的快速回归的近最优界

给定矩阵 $A\in \mathbb{R}^{n\times d}$ 与向量 $b\in \mathbb{R}^n$，我们考虑具有 $\ell_\infty$ 保证的回归问题：寻找向量 $x'\in \mathbb{R}^d$ 使得 $\|x'-x^*\|_\infty \leq \frac{\epsilon}{\sqrt{d}}\cdot \|Ax^*-b\|_2\cdot \|A^\dagger\|$ 其中 $x^*=\arg\min_{x\in \mathbb{R}^d}\|Ax-b\|_2$。求解此类 $\ell_2$ 回归问题的一个流行方法是通过草图：选取结构化随机矩阵 $S\in \mathbb{R}^{m\times n}$（$m\ll n$）且 $SA$ 可快速计算，求解“草图化”回归问题 $\arg\min_{x\in \mathbb{R}^d} \|SAx-Sb\|_2$。本文中，我们证明：为获得此类 $\ell_2$ 回归的 $\ell_\infty$ 保证，必须使用稠密草图矩阵。据我们所知，这是稠密草图矩阵成为必要的首个用例。在算法侧，我们证明存在稠密草图矩阵分布，其 $m=\epsilon^{-2}d\log^3(n/\delta)$，使得以至少 $1-\delta$ 的概率求解草图化回归问题可给出 $\ell_\infty$ 保证。 moreover，矩阵 $SA$ 可在 $O(nd\log n)$ 时间内计算。我们的行数在对数因子内近最优，并显著改进了 [Price, Song and Woodruff, ICALP'17] 的结果，其中要求关于 $d$ 超线性的行数 $m=\Omega(\epsilon^{-2}d^{1+\gamma})$，$\gamma=\Theta(\sqrt{\frac{\log\log n}{\log d}})$。我们还发展了用于 $\ell_\infty$ 保证回归的新分析框架，利用了 [Song and Yu, ICML'21] 引入的无关坐标嵌入（OCE）性质。我们的分析比 [Price, Song and Woodruff, ICALP'17] 更简单且更一般，并推广至向量的张量积的稠密草图。