中文

基于稳定秩的最优近似矩阵乘积

数据结构与算法 2016-03-03 v3 机器学习 机器学习

摘要

我们以黑盒方式利用子空间嵌入保证,证明了可以通过一个具有 m=O(r~/ε2)m = O(\tilde{r}/\varepsilon^2) 行的降维映射来实现近似矩阵乘法的谱范数保证。这里 r~\tilde{r} 是被乘的两个矩阵的最大稳定秩,即弗罗贝尼乌斯范数与算子范数之比的平方。这是对 [MZ11, KVZ14] 先前工作的定量改进,并且对于任何不经意的降维映射也是最优的。此外,由于我们的证明以黑盒方式依赖于子空间嵌入性质,我们的定理可以应用于比先前已知的更广泛的草图矩阵类别,同时还能获得更好的界。例如,可以将我们的定理应用于高效的子空间嵌入,如子采样随机哈达玛变换或稀疏子空间嵌入,甚至未来可能发展的子空间嵌入构造。通过先前工作中展示的与谱误差矩阵乘法的联系,我们的主要定理意味着近似最小二乘回归和低秩逼近的定量改进。我们的主要结果也已被应用于改进 kk-均值聚类的降维保证 [CEMMP14],并蕴含了非参数回归的新结果 [YPW15]。我们还单独指出,[BSS12] 的“BSS”确定性行采样结果的证明可以被修改,以表明对于任何稳定秩至多为 r~\tilde{r} 的矩阵 A,BA, B,可以通过在多项式时间内确定性地采样 O(r~/ε2)O(\tilde{r}/\varepsilon^2) 行来实现 ATBA^T B 近似矩阵乘法的谱范数保证。[BSS12] 的原始结果是针对秩而非稳定秩。我们的观察导致了 [KMST10] 一个主要定理的更强版本。

关键词

引用

@article{arxiv.1507.02268,
  title  = {Optimal approximate matrix product in terms of stable rank},
  author = {Michael B. Cohen and Jelani Nelson and David P. Woodruff},
  journal= {arXiv preprint arXiv:1507.02268},
  year   = {2016}
}

备注

v3: minor edits; v2: fixed one step in proof of Theorem 9 which was wrong by a constant factor (see the new Lemma 5 and its use; final theorem unaffected)