超越 Johnson-Lindenstrauss 的近似欧氏长度与距离

Johnson 与 Lindenstrauss 的一个经典结论指出，一组 $n$ 个高维数据点可被投影到 $O(\log n/\epsilon^2)$ 维，使其两两距离的平方在微小畸变 $\epsilon\in(0,1)$ 内得以保持。已证明 JL 引理对一般情形是最优的，因此改进只能在特殊情形中探索。本文旨在基于受 Hutch++ 算法启发的技术改进 $\epsilon^{-2}$ 依赖，该算法将相关隐式矩阵迹估计问题的 $\epsilon^{-2}$ 降为 $\epsilon^{-1}$。我们首先给出一个估计矩阵各行欧氏长度的算法。我们为其证明了逐元素概率界，在最坏情况下至少与标准 JL 近似一样好，但对谱衰减的矩阵渐近更优。此外，对任意矩阵，无论其谱如何，该算法仅用 $O(\epsilon^{-1})$ 次查询即对总体 Frobenius 范数意义相对误差达到 $\epsilon$ 精度。这相比标准 JL 近似的范数意义误差是二次改进。我们还展示了如何将这些结果推广到估计（i）数据点间的欧氏距离与（ii）高瘦数据矩阵的统计杠杆分数，后者在许多应用中无处不在，并具有类似的理论改进。文中给出了概念验证的数值实验以验证理论分析。