通过反向传播学习多层 GBDT
机器学习
2021-09-28 v2
摘要
深度神经网络能够通过反向传播（BP）学习多层表示。尽管梯度提升决策树（GBDT）对表格数据建模有效，但其关于输入不可微，因此难以学习多层表示。本文提出一种通过 BP 学习多层 GBDT 的框架。我们基于线性回归近似 GBDT 的梯度。具体而言，我们使用线性回归替换每片叶子上的常数值，忽略单个样本对树结构的贡献。以此方式，我们估计中间表示的梯度，从而促成多层 GBDT 的 BP。实验显示了所提方法在性能和表示能力上的有效性。据我们所知，这是首个通过 BP 优化多层 GBDT 的工作。该工作为探索基于深度树的学习以及将 GBDT 与神经网络结合提供了新可能。
引用
@article{arxiv.2109.11863,
title = {Learning Multi-Layered GBDT Via Back Propagation},
author = {Zhendong Zhang},
journal= {arXiv preprint arXiv:2109.11863},
year = {2021}
}
备注
10 pages