利用反向退火对 MRF 对数似然进行准确且保守的估计
机器学习
2014-12-31 v1 机器学习
摘要
马尔可夫随机场（MRFs）作为生成模型难以评估，因为计算测试对数概率需要难解的配分函数。退火重要性采样（AIS）被广泛用于估计 MRF 配分函数，且常给出相当准确的结果。然而，AIS 易于高估对数似然，却几乎无迹象表明存在问题。我们提出反向 AIS 估计器（RAISE），它是原 MRF 模型近似的对数似然的随机下界。RAISE 仅需要与标准 AIS 相同的 MCMC 转移算子。实验结果表明，对于 RBM、DBM 和 DBN，RAISE 与 AIS 对数概率估计高度一致，但通常会偏向于低估而非高估对数似然。
引用
@article{arxiv.1412.8566,
title = {Accurate and Conservative Estimates of MRF Log-likelihood using Reverse Annealing},
author = {Yuri Burda and Roger B. Grosse and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:1412.8566},
year = {2014}
}