带松弛矩匹配的消息传递
机器学习
2012-08-30 v2 统计计算
机器学习
摘要
贝叶斯学习常常受限于高昂的计算开销。作为流行的置信传播 (belief propagation) 的强大推广，期望传播 (expectation propagation, EP) 能高效地近似精确的贝叶斯计算。然而，EP 可能对离群点敏感，并在困难情形下发散。为解决此问题，我们提出一种新的近似推断方法——松弛期望传播 (relaxed expectation propagation, REP)。它通过在 KL 最小化中引入一个松弛因子，放松了期望传播的矩匹配要求。我们用 惩罚项对该松弛进行惩罚。结果，当松弛 KL 散度中的两个分布相似时，松弛因子将被惩罚至零，从而我们得到原始的矩匹配；在存在离群点时，这两个分布显著不同，松弛因子将被用来降低离群点的贡献。基于这种带惩罚的 KL 最小化，REP 对离群点具有鲁棒性，并能极大改善后验近似的质量，超越 EP。为检验 REP 的有效性，我们将其应用于高斯过程分类——一个已知适合 EP 的任务。我们在合成数据集和 UCI 基准数据集上的分类结果表明，REP 在算法稳定性、估计精度和预测性能方面均显著优于 EP 和 Power EP。
引用
@article{arxiv.1204.4166,
title = {Message passing with relaxed moment matching},
author = {Yuan Qi and Yandong Guo},
journal= {arXiv preprint arXiv:1204.4166},
year = {2012}
}