高维协方差分解为稀疏马尔可夫模型和独立模型

拟合高维数据涉及忠实表示与使用稀疏模型之间的微妙权衡。通常，对拟合模型的稀疏假设过于严格，无法提供对观测数据的忠实表示。在本文中，我们提出了一个新颖的框架，在不同领域纳入稀疏性。我们将观测到的协方差矩阵分解为稀疏高斯马尔可夫模型（具有稀疏精度矩阵）和稀疏独立模型（具有稀疏协方差矩阵）。我们的框架将稀疏协方差和稀疏精度估计作为特例，从而引入了一类更丰富的高维模型。我们刻画了两个模型（即马尔可夫模型和独立模型）可识别性的充分条件。我们提出了一种基于流行的$\ell_1$惩罚最大似然估计（$\ell_1$-MLE）修改的高效分解方法。我们证明了我们的估计量在两个领域都是一致的，即当样本数$n$满足$n = \Omega(d^2 \log p)$时，它成功恢复了马尔可夫模型和独立模型的支撑集，其中$p$是变量数，$d$是马尔可夫模型中的最大节点度。我们的实验验证了这些结果，并证明了我们的模型在使用诸如环状置信传播等简单算法时具有更好的推理精度。