用于离散图模型变分推断的概率电路
机器学习
2020-10-23 v1 人工智能
摘要
由于无法对证据下界 (ELBO) 的梯度进行重参数化，使用变分方法在离散图模型中进行推断十分困难。已有许多基于采样的方法用于估计这些梯度，但它们存在高偏差或高方差的问题。本文中，我们提出一种新方法，利用概率电路模型（如求和乘积网络 (SPN)）的可处理性，对某一类密度精确（无需采样）计算 ELBO 梯度。具体而言，我们表明选择性 SPN 适合作为具表达力的变分分布，并证明当目标模型的对数密度为多项式时，相应的 ELBO 可解析计算。为扩展到具有数千变量的图模型，我们开发了高效且有效的选择性 SPN 构造方法，其规模为 ，其中 为变量数， 为可调超参数。我们在三类图模型上验证该方法——Ising 模型、潜在狄利克雷分配，以及来自 UAI 推断竞赛的因子图。选择性 SPN 给出了优于均值场与结构化均值场的下界，并与不提供下界的近似方法（如循环信念传播与树重加权信念传播）具有竞争力。我们的结果表明，概率电路因兼具可处理性与表达力，是离散图模型变分推断中有前景的工具。
引用
@article{arxiv.2010.11446,
title = {Probabilistic Circuits for Variational Inference in Discrete Graphical Models},
author = {Andy Shih and Stefano Ermon},
journal= {arXiv preprint arXiv:2010.11446},
year = {2020}
}
备注
In Advances in Neural Information Processing Systems 34 (NeurIPS), 2020