Graphical Lasso：新见解与替代方法

Rahul Mazumder; Trevor Hastie

Graphical Lasso：新见解与替代方法

机器学习 2012-08-09 v2 机器学习

作者: Rahul Mazumder , Trevor Hastie

摘要

Graphical lasso \citep{FHT2007a} 是一种用于学习无向高斯图模型结构的算法，它利用 $\ell_1$ 正则化来控制精度矩阵 ${\B\Theta}={\B\Sigma}^{-1}$ 中零元的个数 \citep{BGA2008,yuan_lin_07}。R 语言包 \GL \citep{FHT2007a} 广受欢迎且运行快速，能够针对不同的调参值高效地构建模型路径。\GL 的收敛可能比较棘手：收敛后的精度矩阵可能不是估计协差阵的逆矩阵，并且偶尔在使用热启动时无法收敛。在本文中，我们解释了这一现象，并提出了似乎优于 \GL 的新算法。通过研究“正规方程”，我们发现 \GL 是通过分块坐标上升法求解 graphical lasso 惩罚似然的对偶问题；这一结果也可在 \cite{BGA2008} 中找到。在该对偶问题中，估计的目标是协差阵 $\B\Sigma$ ，而非精度矩阵 $\B\Theta$ 。我们提出了类似的原始算法 \PGL 和 \DPGL，它们同样采用分块坐标下降法进行操作，其中 $\B\Theta$ 是优化目标。我们研究了所有这些算法，特别是解决其坐标子问题的不同方法。我们得出结论：从多个角度来看，\DPGL 都更为优越。

关键词

graphical lasso 高斯图模型精度矩阵分块坐标下降惩罚似然协差阵

引用

@article{arxiv.1111.5479,
  title  = {The Graphical Lasso: New Insights and Alternatives},
  author = {Rahul Mazumder and Trevor Hastie},
  journal= {arXiv preprint arXiv:1111.5479},
  year   = {2012}
}

备注

This is a revised version of our previous manuscript with the same name ArXiv id: http://arxiv.org/abs/1111.5479

Graphical Lasso：新见解与替代方法

摘要

关键词

引用

备注

相关论文