广义根模型：超越单变量指数族成对图模型
机器学习
2016-06-03 v1
摘要
我们提出了一种新颖的 k 路高维图模型，称为广义根模型 (GRM)，它显式地建模大小 k > 2 的变量集之间的依赖关系——其中 k = 2 是标准的成对图模型。该模型基于对任何具有正充分统计量的单变量指数族（包括泊松分布和指数分布）的原始充分统计量取 k 次方根。正如近期关于平方根图 (SQR) 模型的工作 [Inouye et al. 2016]——该工作仅限于成对依赖关系——我们利用类似于成对情况 [Inouye et al. 2016] 的径向条件分布，给出了归一化所需的参数条件。特别地，我们证明了泊松 GRM 对参数没有限制，而指数 GRM 仅有一个类似于负定性的限制。我们开发了一种基于 L1 正则化节点回归的简单而通用的学习算法。我们还提出了一种数值近似 GRM 单变量节点条件分布的对数配分函数及其相关导数的通用方法——这与 [Inouye et al. 2016] 仅提供了估计指数 SQR 的算法形成对比。为了说明 GRM，我们使用泊松 GRM 对词计数进行建模，并展示了相关的 k 大小变量集。最后，我们讨论了在各种情况下减少参数空间的方法。
引用
@article{arxiv.1606.00813,
title = {Generalized Root Models: Beyond Pairwise Graphical Models for Univariate Exponential Families},
author = {David I. Inouye and Pradeep Ravikumar and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:1606.00813},
year = {2016}
}