基于稀疏哈密顿流的贝叶斯推断
机器学习
2023-01-13 v2 机器学习
统计计算
摘要
贝叶斯核心集是一个小的、带权重的的数据子集，在贝叶斯推断中替代完整数据集，目的是降低计算成本。尽管以往工作已通过经验表明，常常存在具有低推断误差的核心集，但高效构建此类核心集仍具挑战性。现有方法往往速度慢，需要在核心集构建后进行二次推断步骤，且无法提供数据边际证据界的界。本文中，我们提出一种新方法——稀疏哈密顿流——解决了上述三个挑战。该方法首先均匀子采样数据，然后优化由核心集权重参数化并包含周期性动量准刷新步骤的哈密顿流。理论结果表明，该方法在代表性模型中实现了数据集的指数级压缩，且准刷新步骤减小了与目标分布的 KL 散度。真实与合成实验表明，与竞争的基于动力系统的推断方法相比，稀疏哈密顿流以显著减少的运行时间提供了准确后验近似。
引用
@article{arxiv.2203.05723,
title = {Bayesian inference via sparse Hamiltonian flows},
author = {Naitong Chen and Zuheng Xu and Trevor Campbell},
journal= {arXiv preprint arXiv:2203.05723},
year = {2023}
}