基于 Spike and Slab 先验的马尔可夫随机场贝叶斯结构学习
机器学习
2012-06-26 v2 机器学习
摘要
近年来，人们开发了多种用于自动学习马尔可夫随机场（稀疏）连通结构的方法。这些方法大多基于 L1 正则化优化，其存在诸多缺点，例如无法评估模型不确定性，以及需要昂贵的交叉验证来寻找最优正则化参数。此外，当正则化参数取次优值时（有时为了诱导稀疏性这是期望的），模型的预测性能可能会急剧下降。我们提出了一种基于“spike and slab”先验（类似于 L0 正则化）的全贝叶斯方法，该方法不存在上述缺陷。我们开发了一种结合 Langevin 动力学和可逆跳跃 MCMC 的近似 MCMC 方法，以在该模型中进行推断。实验表明，所提出的模型能够学习到良好的结构和参数值组合，而无需单独调整超参数。此外，在诱导高度稀疏模型结构的超参数设置下，该模型的预测性能比基于 L1 的方法稳健得多。
引用
@article{arxiv.1206.1088,
title = {Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior},
author = {Yutian Chen and Max Welling},
journal= {arXiv preprint arXiv:1206.1088},
year = {2012}
}
备注
Accepted in the Conference on Uncertainty in Artificial Intelligence (UAI), 2012