具有尖峰-平板先验的线性模型中收敛的期望传播
机器学习
2011-12-13 v1
摘要
具有尖峰和平板先验的线性回归模型中的精确推断通常是难以处理的。期望传播 (EP) 可用于近似推断。然而，当训练集规模非常小时，常规的顺序形式 EP (R-EP) 可能无法在该模型中收敛。作为替代方案，我们提出了一种可证明收敛的 EP 算法 (PC-EP)。PC-EP 被证明可以最小化一个能量函数，该函数在某些约束下有下界，且其驻点与 R-EP 的解一致。合成数据实验表明，当 R-EP 不收敛时，PC-EP 生成的近似通常更好。相比之下，当 R-EP 收敛时，两种方法表现相似。
引用
@article{arxiv.1112.2289,
title = {Convergent Expectation Propagation in Linear Models with Spike-and-slab Priors},
author = {José Miguel Hernández-Lobato and Daniel Hernández-Lobato},
journal= {arXiv preprint arXiv:1112.2289},
year = {2011}
}