渐近最优的精确小批量 Metropolis-Hastings 算法
机器学习
2022-02-18 v3 机器学习
摘要
Metropolis-Hastings（MH）是一种常用的 MCMC 算法，但由于需要在整个数据集上进行计算，在大型数据集上可能难以处理。本文研究小批量 MH 方法，其利用子样本以实现可扩展性。我们观察到大多数现有小批量 MH 方法是不精确的（即可能改变目标分布），并表明这种不精确性会导致推断中出现任意大的误差。我们提出一种新的精确小批量 MH 方法 TunaMH，其在批量大小与理论保证的收敛速率之间提供了可调的权衡。我们证明了任何小批量 MH 方法在保持精确性同时保证快速收敛所必须使用的批量大小下界——这是针对小批量 MH 的首个此类下界——并表明 TunaMH 在批量大小方面是渐近最优的。在实证上，我们展示了 TunaMH 在鲁棒线性回归、截断高斯混合和逻辑回归上优于其他精确小批量 MH 方法。
引用
@article{arxiv.2006.11677,
title = {Asymptotically Optimal Exact Minibatch Metropolis-Hastings},
author = {Ruqi Zhang and A. Feder Cooper and Christopher De Sa},
journal= {arXiv preprint arXiv:2006.11677},
year = {2022}
}