伪编码随机变分推断
机器学习
2019-12-21 v1 神经与进化计算
机器学习
摘要
有向图模型中的后验推断通常使用以输入为条件的概率编码器（即推断模型）完成。该推断模型常与概率解码器（即生成模型）联合训练。若概率编码器在训练中遇到复杂性（例如次优复杂度或参数化），则学习会达到次优目标；这一现象通常称为推断次优性。在变分推断 (VI) 中，使用随机变分推断 (SVI) 优化 ELBo 可消除推断次优性（如本文所示），然而，当需要对新数据点进行推断时，该方案带来可观的计算代价。本质上，需要长的顺序梯度更新链来充分优化近似后验。本文中，我们提出一种称为伪编码随机变分推断 (PE-SVI) 的方法，以降低测试时 SVI 的推断复杂度。我们的方法依赖于为梯度运算寻找合适的初始起点，这自然减少了所需梯度步数。此外，该初始化允许采用更大的步长（相较于 SVI 中使用的随机初始化），进一步降低了推断时间复杂度。平均而言，PE-SVI 使用不到所需步数百分之一即达到与 SVI 相同的 ELBo 目标。
引用
@article{arxiv.1912.09423,
title = {Pseudo-Encoded Stochastic Variational Inference},
author = {Amir Zadeh and Smon Hessner and Yao-Chong Lim and Louis-Phlippe Morency},
journal= {arXiv preprint arXiv:1912.09423},
year = {2019}
}