SnapBoost：一种异构提升机
机器学习
2020-09-28 v2 机器学习
摘要
现代梯度提升软件框架，如 XGBoost 和 LightGBM，在函数空间中实现牛顿下降。在每次提升迭代中，其目标是从某个基假设类中选出在欧氏意义上最接近牛顿下降方向的基假设。通常，基假设类固定为给定深度以内的所有二叉决策树。本工作中，我们研究了一种异构牛顿提升机（HNBM），其中基假设类可跨提升迭代变化。具体而言，在每次提升迭代中，基假设类从一个固定的子类中集，通过从某一概率分布采样来选取。我们在特定假设下推导了 HNBM 的全局线性收敛速率，并表明当牛顿方向在每次提升迭代可由基假设完美拟合时，该速率与牛顿法的现有速率一致。随后我们描述了 HNBM 的一个具体实现，SnapBoost，其在每次提升迭代中随机选择变深度决策树或带随机傅里叶特征的线性回归器。我们描述了 SnapBoost 的实现方式，重点关注训练复杂度。最后，我们利用 OpenML 与 Kaggle 数据集给出实验结果，表明 SnapBoost 能够在调参时间无显著增加的情况下，取得优于竞争提升框架的泛化损失。
引用
@article{arxiv.2006.09745,
title = {SnapBoost: A Heterogeneous Boosting Machine},
author = {Thomas Parnell and Andreea Anghel and Malgorzata Lazuka and Nikolas Ioannou and Sebastian Kurella and Peshal Agarwal and Nikolaos Papandreou and Haralampos Pozidis},
journal= {arXiv preprint arXiv:2006.09745},
year = {2020}
}