逐项变换矩阵乘积的低秩近似的困难性
数据结构与算法
2023-11-06 v1 机器学习
摘要
受自然语言处理中快速算法的启发,我们研究逐项变换设定下的低秩近似,其中我们希望找到 的一个良好秩 近似,给定 ,, 为一通用标量函数。子线性低秩近似的先前工作表明,若(1) 且(2) 为 PSD 核函数,则存在一个 时间常数相对误差近似算法,其中 为矩阵乘法指数。我们给出该问题的首个条件时间困难性结果,证明对于广泛的函数类,条件(1)和(2)事实上均为获得优于 时间的相对误差低秩近似所必需。我们给出基于强指数时间假设(SETH)的新归约,其依赖于平坦稀疏向量的杠杆分数下界,并且即使当变换矩阵 的秩与目标秩均为 且 时也成立。此外,即使当 为简单多项式时,我们在 情形下给出形如 的运行时间下界。最后,我们通过给出一个 时间相对误差近似算法以及一种使用基于张量的快速草图的 时间快速加性误差近似,证明我们的下界是紧的。另外,由于我们的低秩算法依赖于矩阵-向量乘积子程序,我们的下界可扩展至表明计算 (即使对一个小矩阵 )需要 时间。
引用
@article{arxiv.2311.01960,
title = {Hardness of Low Rank Approximation of Entrywise Transformed Matrix Products},
author = {Tamas Sarlos and Xingyou Song and David Woodruff and Qiuyi and Zhang},
journal= {arXiv preprint arXiv:2311.01960},
year = {2023}
}
备注
Accepted and formatted in Neurips 2023