如何用 PCA 与随机投影降维？

在我们这个“大数据”时代，数据的规模与复杂度稳步增长。降维方法愈发流行且有用。两类不同的降维方法是“数据无关”方法（如随机投影与草图）和“数据感知”方法（如主成分分析（PCA））。二者各有优势，例如随机投影的速度快，以及 PCA 的数据自适应性。在本文中，我们研究如何将二者结合以兼取其长。我们研究先取随机投影（或草图）再计算 PCA 的“草图并求解”方法。我们在一般的“信号加噪声”（或尖峰）数据模型中计算了几种流行草图方法（随机独立同分布投影、随机采样、子采样 Hadamard 变换、计数草图等）的性能。与知名工作相比，我们的结果（1）给出渐近精确结果，（2）适用于信号分量仅略高于噪声但投影维度不可忽略的情形。我们也研究允许更一般协方差结构的较强信号。我们发现（a）信号强度在投影下以依赖于数据结构与草图方法的微妙方式衰减，（b）正交投影更精确，（c）由于测度集中，随机化不会造成太大损害，（d）计数草图可通过归一化方法改进。我们的结果对统计学习与数据分析具有启示。我们还说明这些结果在模拟与分析经验数据中高度准确。