非共轭模型中的易并行变分推断
机器学习
2015-10-15 v1 人工智能
分布式、并行与集群计算
机器学习
统计计算
摘要
我们开发了一种用于数据分布式环境的并行变分推断 (VI) 流程，其中每台机器只能访问数据子集并独立运行 VI，不与其他机器通信。这种“易并行 (embarrassingly parallel)”流程最近已为 MCMC 推断算法开发；然而，在许多情况下，若不对模型形式要求某些限制性的指数族条件，无法直接将该流程扩展到 VI 方法。此外，大多数现有的（非并行）VI 方法仅限于在条件共轭模型上使用，这限制了其适用性。为解决这些问题，我们利用最近提出的非参数 VI 来促进一种可应用于更广泛模型范围（包括非共轭模型）的易并行 VI 流程。我们推导了易并行 VI 算法，从理论上了分析我们的方法，并在几个非共轭模型上实证演示了该方法。
引用
@article{arxiv.1510.04163,
title = {Embarrassingly Parallel Variational Inference in Nonconjugate Models},
author = {Willie Neiswanger and Chong Wang and Eric Xing},
journal= {arXiv preprint arXiv:1510.04163},
year = {2015}
}