变分推断散度的元学习
机器学习
2021-06-24 v2 机器学习
摘要
变分推断（VI）因其计算效率和广泛适用性在近似贝叶斯推断中起着重要作用。与VI性能密切相关的是相关散度度量的选择，因为VI通过最小化该散度来近似难处理的分布。在本文中，我们提出一种元学习算法来学习与感兴趣任务相适应的散度度量，从而实现VI方法设计的自动化。此外，当我们的方法部署于少样本学习场景时，我们无需额外代价地学习变分参数的初始化。我们证明了我们的方法在高斯混合分布近似、贝叶斯神经网络回归、带变分自编码器的图像生成以及带部分变分自编码器的推荐系统上优于标准VI。
引用
@article{arxiv.2007.02912,
title = {Meta-Learning Divergences of Variational Inference},
author = {Ruqi Zhang and Yingzhen Li and Christopher De Sa and Sam Devlin and Cheng Zhang},
journal= {arXiv preprint arXiv:2007.02912},
year = {2021}
}
备注
Published at AISTATS 2021