用于正则化非线性回归的随机树集成方法
机器学习
2021-06-04 v4 机器学习
统计方法学
摘要
本文提出了一种用于非线性回归的新颖随机树集成方法，我们称之为XBART，即加速贝叶斯加性回归树的缩写。通过将贝叶斯建模中的正则化与随机搜索策略同递归划分方法中计算高效的技术相结合，新方法有史以来最佳性能：在许多设定下它比广泛使用的XGBoost算法更快且更准确。通过细致的模拟研究，我们证明新方法有准确的均值函数逐点估计，且比BART、XGBoost和神经网络（使用Keras）等流行替代方案更快。我们还证明了关于新算法的若干基本理论结果，包括模型单树版本的一致性和集成版本所产生的马尔可夫链的平稳性。此外，我们证明以XBART拟合的树初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗(MCMC)，可显著改善可信区间覆盖并减少总运行时间。
引用
@article{arxiv.2002.03375,
title = {Stochastic tree ensembles for regularized nonlinear regression},
author = {Jingyu He and P. Richard Hahn},
journal= {arXiv preprint arXiv:2002.03375},
year = {2021}
}