共轭计算变分推断：将非共轭模型中的变分推断转化为共轭模型中的推断
机器学习
2017-04-14 v2
摘要
在同时包含共轭项和非共轭项的模型中，变分推断在计算上具有挑战性。专门为共轭模型设计的方法虽然计算效率高，但难以处理非共轭项。另一方面，随机梯度方法可以处理非共轭项，但它们通常忽略模型的共轭结构，这可能导致收敛缓慢。本文提出了一种名为共轭计算变分推断（CVI）的新算法，该算法集两者之长——对共轭项使用共轭计算，对其余部分使用随机梯度。我们通过在均值参数空间中使用随机镜像下降方法，然后将每个梯度步表示为共轭模型中的变分推断，推导出该算法。我们证明了该算法对一大类模型的适用性，并建立了其收敛性。实验结果表明，我们的方法比忽略模型共轭结构的方法收敛速度快得多。
引用
@article{arxiv.1703.04265,
title = {Conjugate-Computation Variational Inference : Converting Variational Inference in Non-Conjugate Models to Inferences in Conjugate Models},
author = {Mohammad Emtiyaz Khan and Wu Lin},
journal= {arXiv preprint arXiv:1703.04265},
year = {2017}
}
备注
Published in AI-Stats 2017. Fixed some typos. This version contains a short paragraph in the conclusions section which we could not add in the conference version due to space constraints