随机最大后验扰动的测度集中性
机器学习
2013-10-17 v1 概率论
摘要
最大后验 (MAP) 扰动框架已成为高维复杂模型中进行推断和学习的一种有效方法。通过最大化随机扰动的势函数，MAP 扰动能够从 Gibbs 分布中生成无偏样本。不幸的是，生成如此多的高维随机变量的计算成本可能过高。更高效的算法利用基于低维 MAP 扰动期望值的顺序采样策略。本文开发了新的测度集中不等式，以限定估计此类期望值所需的样本数量。将这一通用结果应用于 MAP 扰动，可以产生一种更高效的算法来近似从 Gibbs 分布中采样。该测度集中结果具有普遍意义，可能适用于其他涉及期望估计的领域。
引用
@article{arxiv.1310.4227,
title = {On Measure Concentration of Random Maximum A-Posteriori Perturbations},
author = {Francesco Orabona and Tamir Hazan and Anand D. Sarwate and Tommi Jaakkola},
journal= {arXiv preprint arXiv:1310.4227},
year = {2013}
}