基于有序加权L1正则化学习高斯图模型
机器学习
2020-11-20 v2 机器学习
摘要
我们致力于在图模型框架下识别多元高斯随机变量中密集连接的子集。我们提出了两种基于有序加权 (OWL) 范数的新估计量：1) 图OWL (GOWL) 是一种惩罚似然方法，将 OWL 范数应用于精度矩阵的下三角分量。2) 逐列图OWL (ccGOWL) 通过执行 OWL 正则化线性回归来估计精度矩阵。两种方法都能同时识别高度相关的变量组并控制所得精度矩阵中的稀疏性。我们将 GOWL 表述为求解一个复合优化问题，并确立该估计量具有唯一的全局解。此外，我们证明了 ccGOWL 精度矩阵估计每一列的充足分组条件。我们提出近端下降算法来寻找两种估计量的最优解。在存在组结构的合成数据上，ccGOWL 估计量所需计算量显著减少，并达到与最先进估计量相似或更高的精度。我们给出了时序比较，证明了 ccGOWL 的优越计算效率。我们在癌症基因表达数据集和股票数据集上展示了 ccGOWL 方法的 grouping 性能。
引用
@article{arxiv.1906.02719,
title = {Learning Gaussian Graphical Models with Ordered Weighted L1 Regularization},
author = {Cody Mazza-Anthony and Bogdan Mazoure and Mark Coates},
journal= {arXiv preprint arXiv:1906.02719},
year = {2020}
}
备注
Published in IEEE Transactions on Signal Processing