论无监督投影与二阶信号

线性投影在高维数据分析中被广泛使用。在数据包含潜在类别/聚类的无监督设置中，投影下是否保留类别判别信号的问题至关重要。在类别间均值差异的情况下，该问题已被充分研究。然而，在许多当代应用中，特别是在生物医学中，协方差或图模型结构层面上的组间差异十分重要。受此类应用启发，本文探讨线性投影能否保留潜在组间的二阶结构差异。我们关注可在无类别标签知识情况下计算的无监督投影。我们讨论了一个用于研究此类投影行为的简单理论框架，并借此通过准穷举枚举进行分析。这使我们能够考虑两种流行投影（即随机投影（RP）和主成分分析（PCA））在超过十万组的数据生成总体参数上的表现。在这一广泛范围内，PCA在保留二阶信号方面比RP更有效，且常甚至可与有监督投影竞争。我们用完全经验实验补充这些结果，展示了使用模拟和真实数据的0-1损失。我们还研究了投影维度的影响，提请注意这方面的偏差-方差权衡。我们的结果表明，PCA确实可作为无监督分析的合适第一步，包括在差分协方差或图模型结构受关注的情况下。