大协方差矩阵估计中的稀疏一致性与收敛速率

本文研究了基于具有非凸惩罚函数的惩罚似然法估计稀疏协方差矩阵和精度矩阵的稀疏一致性 (sparsistency) 与收敛速率。此处，稀疏一致性是指所有为零的参数实际上以趋于 1 的概率被估计为零的性质。根据具体应用情形，稀疏性先验可能出现在协方差矩阵、其逆矩阵或其 Cholesky 分解上。我们在一个统一框架下，利用一般惩罚函数研究了这三类稀疏性探索问题。我们证明了这些问题在 Frobenius 范数下的收敛速率为 $(s_n\log p_n/n)^{1/2}$ 量级，其中 $s_n$ 是非零元素个数，$p_n$ 是协方差矩阵的维数，$n$ 是样本量。这明确表明高维性的贡献仅仅是一个对数因子。我们明确给出了调节参数 $\lambda_n$ 趋于 0 的速率条件，并在不同惩罚函数下进行了比较。结果表明，对于 $L_1$ 惩罚，为保证稀疏一致性和最优收敛速率，非零元素个数应当较小：在估计稀疏协方差或相关矩阵、稀疏精度或逆相关矩阵、或稀疏 Cholesky 因子时，$O(p_n^2)$ 个参数中非零元素个数 $s_n'$ 最多应为 $O(p_n)$，其中 $s_n'$ 是非对角线元素上的非零项个数。另一方面，使用 SCAD 或硬阈值 (hard-thresholding) 惩罚函数时，则没有此类限制。