用于探索贝叶斯决策树后验的 RJHMC-Tree
机器学习
2023-12-05 v1 统计计算
机器学习
摘要
由于其灵活性和可解释性，决策树在机器学习社区中得到了广泛应用。本文致力于使用贝叶斯方法从数据中学习决策树，由于跨越所有树模型所需的参数空间可能非常庞大，这具有挑战性。为了应对这一挑战，人们已经提出了几种方法，其中较为成功的一种是马尔可夫链蒙特卡洛（MCMC）方法。MCMC方法的效能和效率从根本上依赖于所谓的提议的质量，这正是本文的重点。具体而言，本文研究使用哈密顿蒙特卡洛（HMC）方法，通过在全更新方案中利用似然的几何特性，更高效地探索贝叶斯决策树的后验。我们开发了该新算法的两种实现，并通过在机器学习和贝叶斯决策树文献中的标准数据集上进行测试，将其与现有方法进行了比较。结果表明，基于HMC的方法在预测测试准确率、接受率和树复杂度方面均表现优异。
引用
@article{arxiv.2312.01577,
title = {RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior},
author = {Jodie A. Cochrane and Adrian G. Wills and Sarah J. Johnson},
journal= {arXiv preprint arXiv:2312.01577},
year = {2023}
}
备注
43 pages, 7 figures