更快的最小二乘近似

最小二乘近似是一种用于寻找无精确解的线性方程组的近似解的技术。在典型设置中，设 $n$ 为约束数量，$d$ 为变量数量，且 $n \gg d$。此时，现有的精确方法在 $O(nd^2)$ 时间内找到解向量。我们提出了两种随机算法，它们比现有的精确算法更快速地提供对最小二乘近似问题的最优值和解向量的高精度相对误差近似。我们的两种算法均使用随机化 Hadamard 变换对数据进行预处理。其中一种算法均匀随机采样约束并在这些约束上求解较小规模的问题，另一种算法执行稀疏随机投影并在这些投影坐标上求解较小规模的问题。在这两种情况下，求解较小规模的问题都能提供相对误差近似，并且如果 $n$ 足够大于 $d$，则近似解可以在 $O(nd \log d)$ 时间内计算得出。