邻近变分推断
机器学习
2017-05-26 v1 机器学习
统计计算
摘要
变分推断是进行近似后验推断的一种强大方法。然而，它对初始化敏感，并可能陷入较差的局部最优。在本文中，我们提出了邻近变分推断（PVI）。PVI 是一种优化变分目标的新方法，它约束变分参数的后续迭代以增强优化路径的稳健性。因此，PVI 对初始化和优化中的奇异行为不那么敏感，并能找到更好的局部最优。我们在三种邻近统计量上展示了我们的方法。我们使用真实数据和合成数据，在伯努利因子模型和 S 型信念网络上研究了 PVI，并与确定性退火（Katahira 等人，2008）进行了比较。我们通过为变分自编码器（Kingma 和 Welling，2014；Rezende 等人，2014）等贝叶斯深度学习模型设计邻近统计量，突显了 PVI 的灵活性。经验结果表明，PVI 始终能找到更好的局部最优，并提供更好的预测性能。
引用
@article{arxiv.1705.08931,
title = {Proximity Variational Inference},
author = {Jaan Altosaar and Rajesh Ranganath and David M. Blei},
journal= {arXiv preprint arXiv:1705.08931},
year = {2017}
}