中文

逐项变换矩阵乘积的低秩近似的困难性

数据结构与算法 2023-11-06 v1 机器学习

摘要

受自然语言处理中快速算法的启发,我们研究逐项变换设定下的低秩近似,其中我们希望找到 f(UV)f(U \cdot V) 的一个良好秩 kk 近似,给定 U,VRn×rU, V^\top \in \mathbb{R}^{n \times r}r=O(log(n))r = O(\log(n))f(x)f(x) 为一通用标量函数。子线性低秩近似的先前工作表明,若(1)U=VU = V^\top 且(2)f(x)f(x) 为 PSD 核函数,则存在一个 O(nkω1)O(nk^{\omega-1}) 时间常数相对误差近似算法,其中 ω2.376\omega \approx 2.376 为矩阵乘法指数。我们给出该问题的首个条件时间困难性结果,证明对于广泛的函数类,条件(1)和(2)事实上均为获得优于 n2o(1)n^{2-o(1)} 时间的相对误差低秩近似所必需。我们给出基于强指数时间假设(SETH)的新归约,其依赖于平坦稀疏向量的杠杆分数下界,并且即使当变换矩阵 f(UV)f(UV) 的秩与目标秩均为 no(1)n^{o(1)}U=VU = V^\top 时也成立。此外,即使当 f(x)=xpf(x) = x^p 为简单多项式时,我们在 UVU \neq V^\top 情形下给出形如 Ω(min(n2o(1),Ω(2p)))\Omega(\min(n^{2-o(1)}, \Omega(2^p))) 的运行时间下界。最后,我们通过给出一个 O(npoly(k,2p,1/ϵ))O(n \cdot \text{poly}(k, 2^p, 1/\epsilon)) 时间相对误差近似算法以及一种使用基于张量的快速草图的 O(npoly(k,p,1/ϵ))O(n \cdot \text{poly}(k, p, 1/\epsilon)) 时间快速加性误差近似,证明我们的下界是紧的。另外,由于我们的低秩算法依赖于矩阵-向量乘积子程序,我们的下界可扩展至表明计算 f(UV)Wf(UV)W(即使对一个小矩阵 WW)需要 Ω(n2o(1))\Omega(n^{2-o(1)}) 时间。

关键词

引用

@article{arxiv.2311.01960,
  title  = {Hardness of Low Rank Approximation of Entrywise Transformed Matrix Products},
  author = {Tamas Sarlos and Xingyou Song and David Woodruff and Qiuyi and Zhang},
  journal= {arXiv preprint arXiv:2311.01960},
  year   = {2023}
}

备注

Accepted and formatted in Neurips 2023