中文

任意精度的快速固定维度 L2-子空间嵌入,及其在 L1 与 L2 任务中的应用

机器学习 2019-09-30 v1 机器学习

摘要

我们给出从 ARnxdA\in \mathbb{R}^{n x d}BRrxdB\in \mathbb{R}^{r x d} 的快速忽略型 L2-嵌入,满足 (1ε)Ax22Bx22<=(1+ε)Ax22.(1-\varepsilon)\|A x\|_2^2 \le \|B x\|_2^2 <= (1+\varepsilon) \|Ax\|_2^2. 我们的嵌入维度 rr 等于 dd,一个独立于失真度 ε\varepsilon 的常数。我们将任意 L2-嵌入 ΠTA\Pi^T A 作为黑盒使用,并继承其运行时间与精度,从而有效地将维度 rr 与运行时间和精度解耦,使下游机器学习应用能够同时受益于低维度与高精度(在先前的嵌入中,更高精度意味着更高维度)。我们给出了 L2-嵌入在回归、PCA 和统计杠杆分数上的应用。我们还给出了在 L1 上的应用:1.) 维度为 d+O(dln1+ηd)d+O(d\ln^{1+\eta} d)、失真度为 O((dlnd)/lnlnd)O((d\ln d)/\ln\ln d) 的忽略型 L1-嵌入,并应用于构造良态基;2.) 利用我们的 L2 嵌入快速近似 L2-杠杆分数,从而实现 L1-Lewis 权重的快速近似。

关键词

引用

@article{arxiv.1909.12580,
  title  = {Fast Fixed Dimension L2-Subspace Embeddings of Arbitrary Accuracy, With Application to L1 and L2 Tasks},
  author = {Malik Magdon-Ismail and Alex Gittens},
  journal= {arXiv preprint arXiv:1909.12580},
  year   = {2019}
}