梯度提升决策树神经网络
机器学习
2019-11-07 v2 机器学习
摘要
在本文中,我们提出一种构建类似于决策树集成神经网络的的方法。我们首先说明如何将学习到的决策树集成转换为具有一个隐藏层及输入变换的单个神经网络。然后我们放宽该网络的某些属性(如阈值和激活函数)以训练一个近似等价的决策树集成。最终模型Hammock出奇地简单:一个全连接的两层神经网络,其中输入被量化和独热编码。在大型和小型数据集上的实验表明,这种简单方法可以达到与梯度提升决策树相似的性能。
引用
@article{arxiv.1910.09340,
title = {Gradient Boosted Decision Tree Neural Network},
author = {Mohammad Saberian and Pablo Delgado and Yves Raimond},
journal= {arXiv preprint arXiv:1910.09340},
year = {2019}
}