基于尖峰 - 平板先验的马尔可夫随机场贝叶斯结构学习
机器学习
2014-08-12 v1 机器学习
摘要
近年来，已开发出多种方法用于自动学习马尔可夫随机场（Markov Random Fields）的（稀疏）连接结构。这些方法大多基于 L1 正则化优化，存在诸多缺点，例如无法评估模型不确定性，以及需要昂贵的交叉验证来寻找最优正则化参数。此外，若正则化参数取值次优（该参数有时被用于诱导稀疏性），模型的预测性能可能会显著下降。我们提出了一种基于“尖峰 - 平板”（spike and slab）先验（类似于 L0 正则化）的全贝叶斯方法，该方法不受上述缺点影响。我们开发了一种结合朗之万动力学（Langevin dynamics）和可逆跳跃 MCMC 的近似 MCMC 方法，以在该模型中进行推断。实验表明，所提出的模型无需单独的超参数调整即可学习到良好的结构与参数值组合。此外，在诱导高度稀疏模型结构的超参数设置下，该模型的预测性能比基于 L1 的方法稳健得多。
引用
@article{arxiv.1408.2047,
title = {Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior},
author = {Yutian Chen and Max Welling},
journal= {arXiv preprint arXiv:1408.2047},
year = {2014}
}
备注
Appears in Proceedings of the Twenty-Eighth Conference on Uncertainty in Artificial Intelligence (UAI2012)