基于变量分组的贝叶斯加性回归树

使用集成方法进行回归在获得高精度预测方面取得了巨大成功。例子包括Bagging、随机森林、Boosting、BART（贝叶斯加性回归树）及其变体。在本文中，我们提出一种称为变量分组的新视角以增强预测性能。主要思想是寻找变量的潜在分组，使得不同组变量之间不存在非线性交互项。给定一个学习器求和模型，每个学习器将仅负责一组变量，这在建模非线性交互时更为高效。我们提出了一种两阶段方法，称为基于变量分组的贝叶斯加性回归树（GBART），并提供了完善的python包gbart。第一阶段是搜索潜在交互和变量的适当分组。第二阶段是基于发现的组构建最终模型。在合成与真实数据上的实验表明，所提方法显著优于经典方法。