用于变分推断的 Alpha-Beta 散度
机器学习
2018-05-22 v2 机器学习
摘要
本文引入了一种变分近似框架，该框架使用直接优化所谓的{\it 尺度不变 Alpha-Beta 散度}（sAB 散度）。这一新目标函数涵盖了大多数使用 Kullback-Leibler 散度、R{\'e}nyi 散度或 gamma 散度的变分目标。它还提供了在变分推断背景下从未被利用过的目标函数。这是通过两个易于解释的控制参数实现的，它们允许在散度空间上进行平滑插值，同时权衡诸如目标分布的质量覆盖和数据中离群值的鲁棒性等属性。此外，sAB 变分目标可以通过重新利用现有的复杂变分目标 Monte Carlo 计算方法进行直接优化，从而产生散度的估计而非变分下界。我们在回归问题的贝叶斯模型上展示了该目标函数的优势。
引用
@article{arxiv.1805.01045,
title = {Alpha-Beta Divergence For Variational Inference},
author = {Jean-Baptiste Regli and Ricardo Silva},
journal= {arXiv preprint arXiv:1805.01045},
year = {2018}
}