基于 Walsh-Hadamard 变分推断的高效近似推断
机器学习
2019-12-03 v1 机器学习
摘要
变分推断为处理现代统计模型（如贝叶斯神经网络和高斯过程）的难解贝叶斯推断提供了可扩展且灵活的工具。然而，对于严重过参数化的模型，变分目标的过正则化特性使得变分推断的应用具有挑战性。受核方法文献特别是随机矩阵分布的结构化近似的启发，本文提出 Walsh-Hadamard 变分推断，其使用基于 Walsh-Hadamard 的分解策略来减少模型参数化、加速计算，并使近似后验的表达能力超越完全因子化形式。
引用
@article{arxiv.1912.00015,
title = {Efficient Approximate Inference with Walsh-Hadamard Variational Inference},
author = {Simone Rossi and Sebastien Marmin and Maurizio Filippone},
journal= {arXiv preprint arXiv:1912.00015},
year = {2019}
}
备注
Paper accepted at the 4th Workshop on Bayesian Deep Learning (NeurIPS 2019), Vancouver, Canada. arXiv admin note: substantial text overlap with arXiv:1905.11248