通过稀疏最大似然估计进行模型选择
人工智能
2007-07-06 v1 机器学习
摘要
我们考虑以使得生成的无向图模型稀疏的方式估计高斯分布或二元分布参数的问题。我们的方法是求解一个带有附加 -范数惩罚项的最大似然问题。该问题表述为凸问题，但对于节点数超过几十个的问题，现有内点法的内存需求和计算复杂度是令人望而却步的。我们提出了两种新算法，用于解决高斯情形下至少包含一千个节点的问题。我们的第一种算法使用块坐标下降法，可解释为递归 -范数惩罚回归。我们的第二种算法基于 Nesterov 的一阶方法，其复杂度估计对问题规模的依赖性优于现有内点法。利用对数配分函数的对数行列式松弛 (Wainwright & Jordan (2006))，我们表明这些相同算法可用于求解二元情形下的近似稀疏最大似然问题。我们在合成数据以及基因表达和参议院投票记录数据上测试了我们的算法。
引用
@article{arxiv.0707.0704,
title = {Model Selection Through Sparse Maximum Likelihood Estimation},
author = {Onureena Banerjee and Laurent El Ghaoui and Alexandre d'Aspremont},
journal= {arXiv preprint arXiv:0707.0704},
year = {2007}
}