非半正定矩阵草图及其在回归与优化中的应用

Zhili Feng; Fred Roosta; David P. Woodruff

非半正定矩阵草图及其在回归与优化中的应用

机器学习 2021-06-17 v1 数值分析数值分析机器学习

作者: Zhili Feng , Fred Roosta , David P. Woodruff

摘要

多种降维技术已被应用于涉及大矩阵的计算中。底层矩阵被随机压缩为较小的矩阵，同时近似保留其原有诸多性质。因此，大量昂贵计算可在小矩阵上执行。半正定（PSD）矩阵的草图化已被充分理解，但许多应用中相关矩阵并非 PSD，包括非凸优化中的 Hessian 矩阵以及涉及复数的回归应用中的协方差矩阵。本文提出了针对非 PSD 矩阵及其“平方根”的新颖降维方法，后者涉及含复数值的矩阵。我们展示了这些技术如何用于多个下游任务。特别地，我们展示了如何将所提出的矩阵草图技术用于凸与非凸优化、对任意 $1 \leq p \leq \infty$ 的 $\ell_p$ -回归，以及向量-矩阵-向量查询。

关键词

矩阵草图非半正定矩阵降维回归非凸优化复矩阵

引用

@article{arxiv.2106.08544,
  title  = {Non-PSD Matrix Sketching with Applications to Regression and Optimization},
  author = {Zhili Feng and Fred Roosta and David P. Woodruff},
  journal= {arXiv preprint arXiv:2106.08544},
  year   = {2021}
}

非半正定矩阵草图及其在回归与优化中的应用

摘要

关键词

引用

相关论文