多层梯度提升决策树
机器学习
2020-07-07 v1 机器学习
摘要
多层表示被认为是深度神经网络的关键要素,尤其在计算机视觉等认知任务中。尽管梯度提升决策树(GBDTs)等非可微模型是建模离散或表格数据的主导方法,它们难以融合此类表示学习能力。本工作中,我们提出多层 GBDT 森林(mGBDTs),明确侧重于通过堆叠若干层回归 GBDT 作为基本构件来探索学习层次化表示的能力。该模型可通过跨层的目标传播变体进行联合训练,无需推导反向传播或可导性。实验与可视化证实了该模型在性能与表示学习能力上的有效性。
引用
@article{arxiv.1806.00007,
title = {Multi-Layered Gradient Boosting Decision Trees},
author = {Ji Feng and Yang Yu and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:1806.00007},
year = {2020}
}