类 copula 变分推断
机器学习
2019-12-24 v2 机器学习
摘要
本文考虑了一类受 Sklar 定理启发的新型变分分布族。该分布族基于超立方体上具有非均匀边缘分布且可高效采样(即复杂度随状态空间维数线性增长)的新型类 copula 密度。进而,我们所提出的变分密度可视为由这些类 copula 密度作为超立方体上的基分布,配合高斯分位函数与稀疏旋转矩阵作为归一化流而生成。后者对应于边缘分布的旋转,复杂度为 。我们提供了一些经验证据,表明此类变分族亦可近似非高斯后验,并且相较于高斯近似可能更有利。我们的方法在贝叶斯神经网络的 standard 回归与分类基准上大体与最先进的变分近似表现相当。
引用
@article{arxiv.1904.07153,
title = {Copula-like Variational Inference},
author = {Marcel Hirt and Petros Dellaportas and Alain Durmus},
journal= {arXiv preprint arXiv:1904.07153},
year = {2019}
}
备注
33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada