用于大规模学习的符号 α-稳定随机投影

我们研究了“符号 α-稳定随机投影”(其中 $0<\alpha\leq 2$)在大规模机器学习应用(例如分类、回归、聚类和近邻搜索)中用于构建基础数据处理工具的用途。经过符号稳定随机投影处理后，处理后的数据的内积会根据 $\alpha$ 的值近似于各类非线性核。因此，该方法本质上以线性学习的代价提供了近似非线性学习算法的有效策略。当 $\alpha=2$ 时，相应的非线性核为 arc-cosine 核。当 $\alpha=1$ 时，该过程近似 arc-cos-$\chi^2$ 核(在特定条件下)。当 $\alpha\rightarrow0+$ 时，它对应于 resemblance 核。从实践者的角度看，符号 α-稳定随机投影方法已准备好用于大规模学习应用测试，其中 α 可简单地视为一个调优参数。文献中所缺失的是一项广泛的实证研究以展示符号稳定随机投影的有效性，尤其是针对 $\alpha\neq 2$ 或 $1$ 的情况。本文在多种分类数据集上提供了此类研究。特别地，我们将符号 α-稳定随机投影与近期提出的“0-bit 一致加权采样(CWS)”(Li 2015) 进行了直接对比。