Johnson-Lindenstrauss 引理、线性与非线性随机投影、随机傅里叶特征与随机厨房水槽：教程与综述
机器学习
2021-08-10 v1 数据结构与算法
机器学习
概率论
摘要
这是一篇关于 Johnson-Lindenstrauss（JL）引理以及线性和非线性随机投影的教程与综述论文。我们从线性随机投影开始，然后通过 JL 引理及其证明来论证其正确性。接着，介绍了具有 范数和插值范数的稀疏随机投影。解释了随机投影的两个主要应用，即低秩矩阵近似和通过随机投影到超立方体上的近似最近邻搜索。解释了随机傅里叶特征（RFF）和随机厨房水槽（RKS）作为非线性随机投影的方法。还介绍了非线性随机投影的其他一些方法，包括极限学习机、随机加权神经网络和随机投影集成。
引用
@article{arxiv.2108.04172,
title = {Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey},
author = {Benyamin Ghojogh and Ali Ghodsi and Fakhri Karray and Mark Crowley},
journal= {arXiv preprint arXiv:2108.04172},
year = {2021}
}
备注
To appear as a part of an upcoming textbook on dimensionality reduction and manifold learning