高维协方差分解为稀疏马尔可夫域与独立域
机器学习
2012-07-03 v1 机器学习
摘要
在本文中，我们提出了一种新颖的框架，融合了不同域中的稀疏模型组合。我们假设观测数据由稀疏高斯马尔可夫模型（具有稀疏精度矩阵）和稀疏高斯独立模型（具有稀疏协方差矩阵）的线性组合生成。我们提供了将数据分解为两个域（即马尔可夫域和独立域）的高效方法。我们刻画了一组可识别性和模型一致性的充分条件。我们的分解方法基于对流行的ℓ1惩罚最大似然估计（ℓ1-MLE）的简单修改。我们证明我们的估计量在两个域中都是一致的，即当样本数n按n = Ω(d^2 log p)缩放时（其中p是变量数，d是马尔可夫模型中节点的最大度数），它成功恢复了马尔可夫模型和独立模型的支撑集。我们的恢复条件与用于稀疏马尔可夫模型一致估计的ℓ1-MLE条件相当，因此我们保证了在可比条件下对更丰富模型类别的高维估计成功。我们的实验验证了这些结果，并表明我们的模型在使用诸如环状置信传播等简单算法时具有更好的推理精度。
引用
@article{arxiv.1206.6382,
title = {High-Dimensional Covariance Decomposition into Sparse Markov and Independence Domains},
author = {Majid Janzamin and Animashree Anandkumar},
journal= {arXiv preprint arXiv:1206.6382},
year = {2012}
}
备注
Appears in Proceedings of the 29th International Conference on Machine Learning (ICML 2012)