f-散度变分推断

本文提出 $f$-散度变分推断($f$-VI),将变分推断推广至所有 $f$-散度。从最小化一个与 $f$-散度具有统计一致性的巧妙代理 $f$-散度出发,$f$-VI 框架不仅统一了若干现有 VI 方法,例如 Kullback-Leibler VI、R\'{e}nyi 的 $\alpha$-VI 以及 $\chi$-VI,还为服从 $f$-散度族中任意散度的 VI 提供了标准化工具包。我们推导了一般的 $f$-变分界,并给出了边际似然(或证据)的夹逼估计。$f$-VI 的发展伴随一种利用重参数化技巧、重要性加权和蒙特卡洛近似的随机优化方案;同时也为 $f$-VI 提出了一种推广著名坐标上升变分推断(CAVI)的平均场近似方案。我们给出了包括变分自编码器和贝叶斯神经网络在内的经验示例,以展示 $f$-VI 的有效性与广泛适用性。