极端随机变分推断：分布式与异步
机器学习
2018-08-07 v9
摘要
随机变分推断(SVI)是将变分推断扩展到大规模数据集的最先进算法，但其本质上是串行的。此外，它要求参数能放入单个处理器的内存中；当参数数量达数十亿时，这成为了问题。本文提出极端随机变分推断(ESVI)，一种异步且无锁的算法，用于在海量真实世界数据集上为混合模型执行变分推断。ESVI克服了SVI的局限性，它要求每个处理器仅访问数据的子集和参数的子集，从而同时提供数据与模型并行性。我们通过在一个词汇量为300万、词例数为30亿的数据集UMBC-3B上运行隐含狄利克雷分布(LDA)来展示ESVI的有效性。实验中，我们发现ESVI不仅在挂钟时间上优于VI和SVI，而且获得了更高质量的求解。此外，我们提出了一种在拟合大量主题时加速计算并节省内存的策略。
引用
@article{arxiv.1605.09499,
title = {Extreme Stochastic Variational Inference: Distributed and Asynchronous},
author = {Jiong Zhang and Parameswaran Raman and Shihao Ji and Hsiang-Fu Yu and S. V. N. Vishwanathan and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:1605.09499},
year = {2018}
}