软梯度提升机
机器学习
2020-06-09 v1 机器学习
摘要
梯度提升机已被证明是一种成功的函数逼近器，并广泛应用于多个领域。然而，由于每个基学习器的训练过程必须遵循顺序，因此无法在基学习器之间并行化训练过程以加速。此外，在在线或增量学习设置下，由于已训练的基学习器一旦训练完成便无法适应环境，GBM 取得了次优性能。在这项工作中，我们提出软梯度提升机（sGBM），将多个可微基学习器连接在一起，通过注入受梯度提升启发的局部和全局目标，所有基学习器便可联合优化并实现线性加速。当使用可微软决策树作为基学习器时，该装置可视为（硬）梯度提升决策树的替代版本，并具有额外优势。实验结果表明，在在线和离线设置下，给定相同基学习器，sGBM 以更高精度享有高得多的训练效率。
引用
@article{arxiv.2006.04059,
title = {Soft Gradient Boosting Machine},
author = {Ji Feng and Yi-Xuan Xu and Yuan Jiang and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2006.04059},
year = {2020}
}