双向核矩阵穿刺：面向资源高效的PCA与谱聚类

本文介绍了一种用于谱聚类和主成分分析的简易成本与存储缩减方法。该方法通过伯努利掩码随机“穿刺”数据矩阵$X\in\mathbb{C}^{p\times n}$（或$\mathbb{R}^{p\times n}$）及其对应核（Gram）矩阵$K$：$X$使用$S\in\{0,1\}^{p\times n}$，$K$使用$B\in\{0,1\}^{n\times n}$。由此得到的“双向穿刺”核为$K=\frac{1}{p}[(X \odot S)^{\sf H} (X \odot S)] \odot B$。我们证明，对于由高斯混合模型独立列构成的$X$，当$n,p\to\infty$且$p/n\to c_0\in(0,\infty)$时，$K$的谱行为——其极限特征值分布，以及孤立特征值和特征向量——完全可处理，并展现一系列反直觉现象。我们尤其证明并在GAN生成的图像数据库上经验证实，可以大幅穿刺数据，从而在（聚类或PCA）性能几乎恒定的情况下提供可能巨大的计算与存储收益。该初步研究由此开辟了从大维角度重新思考基础机器学习模型中计算与存储成本的路径。