高斯草图在 RKHS 中给出 J-L 引理

本文的主要贡献是证明对核 Gram 矩阵 $\boldsymbol K$ 进行高斯草图化会得到一个算子,其在 RKHS $\mathcal H$ 中的对应物是一个\emph{随机投影}算子——符合 Johnson-Lindenstrauss (J-L) 引理的精神。确切地说,给定具有独立同分布高斯条目的随机矩阵 $Z$,我们证明草图 $Z\boldsymbol{K}$ 对应于(无限维)希尔伯特空间 $\mathcal H$ 中一个特定的随机算子,它将函数 $f \in \mathcal H$ 映射到低维空间 $\mathbb R^d$,同时保留形如 $\langle f, g \rangle_{\Sigma} \doteq \langle f, \Sigma^3 g \rangle_{\mathcal H}$ 的加权 RKHS 内积,其中 $\Sigma$ 是由数据分布诱导的\emph{协方差}算子。特别地,在与核 PCA (KPCA) 或核 $k$-均值 (K-$k$-means) 类似的假设下,特征空间 $\{K(\cdot, x): x \in \cal X\}$ 中分离良好的子集在此操作后仍分离良好,这表明其具有与 KPCA 和/或 K-$k$-means 类似的益处,尽管代价仅为随机投影的低廉成本。特别地,我们的收敛速率表明,给定大小为 $N$ 的大型数据集 $\{X_i\}_{i=1}^N$,我们可以在远小得多的子样本大小 $n\ll N$ 上构建 Gram 矩阵 $\boldsymbol K$,从而使得草图 $Z\boldsymbol K$ 极易获得并随后作为投影算子应用于原始数据 $\{X_i\}_{i=1}^N$。我们在合成数据及真实世界的聚类应用上对这些见解进行了实证验证。