贝叶斯加性回归树的粒子 Gibbs 采样器
机器学习
2015-02-17 v1 机器学习
统计计算
摘要
加性回归树是灵活的非参数模型，也是现实世界非线性回归中流行的即用型工具。在诸如生物信息学等既需要带有不确定性度量的概率预测的应用领域中，由 Chipman 等人 (2010) 提出的贝叶斯加性回归树 (BART) 模型正日益流行。然而，随着数据集规模增长，用于在 BART 中执行推断的标准 Metropolis-Hastings 算法显得不足。具体而言，这些马尔可夫链对树进行局部改变，并且在数据高维或最佳拟合树深于几层时混合缓慢。我们提出了一种基于粒子 Gibbs (PG) 算法 (Andrieu 等人, 2010) 和一种用于贝叶斯决策树的自顶向下粒子滤波算法 (Lakshminarayanan 等人, 2013) 的 BART 新型采样器。PG 采样器不是对单棵树进行局部改变，而是提出一棵完整的树来拟合残差。实验表明，PG 采样器在许多设定下优于现有采样器。
引用
@article{arxiv.1502.04622,
title = {Particle Gibbs for Bayesian Additive Regression Trees},
author = {Balaji Lakshminarayanan and Daniel M. Roy and Yee Whye Teh},
journal= {arXiv preprint arXiv:1502.04622},
year = {2015}
}