摊销蒙特卡洛积分
机器学习
2019-07-19 v1 机器学习
统计计算
摘要
当前摊销贝叶斯推断的方法仅聚焦于近似后验分布。通常，该近似又被用于计算一个或多个目标函数的期望——当目标函数事先已知时，这一计算流程是低效的。在本文中，我们通过引入 AMCI（一种直接摊销蒙特卡洛积分的方法）来解决这一低效问题。AMCI 的操作类似于摊销推断，但产生三种不同的摊销提议，每一种都针对整体期望计算的不同部分。在运行时，分别从每个摊销提议中产生样本，然后组合为对期望的整体估计。我们证明，尽管现有方法在其所能达到的精度水平上受到根本限制，AMCI 在理论上可以仅于运行时从每个提议抽取单个样本，便为任意可积目标函数产生任意小的误差。我们进一步证明，在若干示例问题上，它在经验上优于理论上最优的自归一化重要性采样器。此外，AMCI 不仅允许在数据集上摊销，也允许在目标函数上摊销。
引用
@article{arxiv.1907.08082,
title = {Amortized Monte Carlo Integration},
author = {Adam Goliński and Frank Wood and Tom Rainforth},
journal= {arXiv preprint arXiv:1907.08082},
year = {2019}
}
备注
Awarded Best Paper Honourable Mention at International Conference on Machine Learning (ICML) 2019