中文

小维度下的ℓ_p-子空间草图问题及其在支持向量机中的应用

数据结构与算法 2024-02-19 v2

摘要

p\ell_p-子空间草图问题中,给定一个n×dn\times d矩阵AA(其中n>dn>d),要求构建一个小规模内存数据结构Q(A,ϵ)Q(A,\epsilon),使得对任意查询向量xRdx\in\mathbb{R}^d,仅给定Q(A,ϵ)Q(A,\epsilon)即可输出一个位于(1±ϵ)Axpp(1\pm\epsilon)\|Ax\|_p^p范围内的数。已知对于d=Ω(log(1/ϵ))d=\Omega(\log(1/\epsilon)),该问题需要Ω~(dϵ2)\tilde{\Omega}(d\epsilon^{-2})位内存。然而,对于d=o(log(1/ϵ))d=o(\log(1/\epsilon)),此前未知任何数据结构下界。我们确定了任意常数dd与整数pp下解决p\ell_p-子空间草图问题所需的内存,表明其为Ω(ϵ2(d1)/(d+2p))\Omega(\epsilon^{-2(d-1)/(d+2p)})位与O~(ϵ2(d1)/(d+2p))\tilde{O} (\epsilon^{-2(d-1)/(d+2p)})字。这表明对于任一常数dd,均可击败在d=Ω(log(1/ϵ))d = \Omega(\log(1/\epsilon))时成立的Ω(ϵ2)\Omega(\epsilon^{-2})下界。我们还展示了如何在单遍流中实现该上界,内存中附带一个乘性poly(loglogn)\operatorname{poly}(\log \log n)因子与加性poly(logn)\operatorname{poly}(\log n)代价。我们的界可应用于带加性误差的SVM点查询,对每个常数dd给出Θ~(ϵ2d/(d+3))\tilde{\Theta}(\epsilon^{-2d/(d+3)})的最优界。这相比(Andoni等人2020)的Ω(ϵ(d+1)/(d+3))\Omega(\epsilon^{-(d+1)/(d+3)})下界近乎二次改进。我们的技术依赖于与几何泛函分析中低维技术的新颖联系。

关键词

引用

@article{arxiv.2211.07132,
  title  = {The $\ell_p$-Subspace Sketch Problem in Small Dimensions with Applications to Support Vector Machines},
  author = {Yi Li and Honghao Lin and David P. Woodruff},
  journal= {arXiv preprint arXiv:2211.07132},
  year   = {2024}
}

备注

Corrected the citation for Lemma 3.3 and adjusted the constants in the proof accordingly