用于估计大型精度矩阵的偏相关筛选法及其在分类中的应用

我们提出偏相关筛选 (PCS) 作为一种新的逐行方法来估计大型精度矩阵 $\Omega$。为了估计 $\Omega$ 的第 $i$ 行 ($1 \leq i \leq p$)，PCS 使用一个筛选步骤和一个清洗步骤。在筛选步骤中，PCS 利用分阶段算法招募一个（小型）索引子集，其中在每个阶段，算法通过添加与 $i$ 具有最大（绝对值）经验偏相关的索引 $j$ 来更新已招募的索引集。在清洗步骤中，PCS 重新调查所有已招募的索引，并利用它们重构 $\Omega$ 的第 $i$ 行。PCS 计算效率高且内存占用适中：为了估计 $\Omega$ 的一行，它只需要经验协方差矩阵的少数几行（按顺序确定）。这使得 PCS 能够在几分钟内执行大型精度矩阵（例如 $p=10K$）的估计，并为估计更大的精度矩阵打开了大门。我们将 PCS 用于分类。高阶批评阈值化 (HCT) 是一种近期享有最优性的分类器，但在实践中要充分发挥其潜力，需要对精度矩阵 $\Omega$ 进行良好的估计。将 HCT 与任何估计 $\Omega$ 的方法结合可产生一种新的分类器：示例包括 HCT-PCS 和 HCT-glasso。我们将 HCT-PCS 应用于两个大型微阵列数据集（$p = 8K$ 和 $10K$）进行分类，结果显示其不仅显著优于 HCT-glasso，而且与支持向量机 (SVM) 和随机森林 (RF) 具有竞争力。结果表明，PCS 给出的 $\Omega$ 估计比 glasso 更有用。我们建立了一个通用的理论框架，并表明在广泛背景下，PCS 能完全恢复 $\Omega$ 的支撑集，且 HCT-PCS 产生最优的分类行为。我们的证明揭示了分阶段过程行为的有趣特性。