用于神经网络的 Reversible Jump MCMC 模拟退火
机器学习
2013-01-18 v1 神经与进化计算
机器学习
摘要
我们提出了一种新颖的 reversible jump Markov chain Monte Carlo (MCMC) 模拟退火算法来优化径向基函数 (RBF) 网络。该算法使我们能够最大化网络参数和基函数数量的联合后验分布。它在参数和参数数量的联合空间中执行全局搜索，从而克服了局部极小值问题。我们还表明，通过校准 Bayesian 模型，我们可以在惩罚似然框架内获得经典的 AIC、BIC 和 MDL 模型选择准则。最后，我们从理论和经验上证明，该算法能以高效的方式收敛到完整后验分布的众数。
引用
@article{arxiv.1301.3833,
title = {Reversible Jump MCMC Simulated Annealing for Neural Networks},
author = {Christophe Andrieu and Nando de Freitas and Arnaud Doucet},
journal= {arXiv preprint arXiv:1301.3833},
year = {2013}
}
备注
Appears in Proceedings of the Sixteenth Conference on Uncertainty in Artificial Intelligence (UAI2000)