Lp 回归的采样算法与核心集

Lp 回归问题输入为一个矩阵 $A \in \Real^{n \times d}$、一个向量 $b \in \Real^n$ 和一个数 $p \in [1,\infty)$，输出为一个数 ${\cal Z}$ 和一个向量 $x_{opt} \in \Real^d$，使得 ${\cal Z} = \min_{x \in \Real^d} ||Ax -b||_p = ||Ax_{opt}-b||_p$。在本文中，针对这一经典问题的极度超定（$n \gg d$）版本，我们为所有 $p \in [1, \infty)$ 构造了核心集，并获得了一种高效的两阶段基于采样的近似算法。我们算法的第一阶段非均匀地采样 $A$ 的 $\hat{r}_1 = O(36^p d^{\max\{p/2+1, p\}+1})$ 行及 $b$ 的对应元素，然后在样本上求解 Lp 回归问题；我们证明这是一个 8-近似。我们算法的第二阶段利用第一阶段的输出重新采样 $\hat{r}_1/\epsilon^2$ 个约束，然后在新样本上求解 Lp 回归问题；我们证明这是一个 $(1+\epsilon)$-近似。我们的算法统一、改进并扩展了针对 Lp 回归特例（即 $p = 1,2$）的现有算法。在证明我们结果的过程中，我们开发了两个具有独立意义的概念——良条件基和保子空间采样。