GBDT-MO：面向多输出的梯度提升决策树
计算机视觉与模式识别
2020-01-01 v2 机器学习
摘要
梯度提升决策树（GBDT）在机器学习中被广泛使用，而当前 GBDT 实现的输出是单一变量。当存在多个输出时，GBDT 会构建与输出变量相对应的多个树。这种策略忽略了变量之间的相关性，导致学习到的树结构存在冗余。在本文中，我们提出了一种学习多输出 GBDT 的通用方法，称为 GBDT-MO。GBDT-MO 的每个叶子节点构建所有变量或自动选择变量子集的预测。这是通过考虑所有输出变量的目标增益总和来实现的。此外，我们将直方图近似扩展到多输出情况以加速训练过程。在合成数据集和真实世界数据集上的各种实验验证了 GBDT-MO 在准确性和训练速度方面均取得了出色的性能。我们的代码已在线提供。
引用
@article{arxiv.1909.04373,
title = {GBDT-MO: Gradient Boosted Decision Trees for Multiple Outputs},
author = {Zhendong Zhang and Cheolkon Jung},
journal= {arXiv preprint arXiv:1909.04373},
year = {2020}
}
备注
10 pages, 5 figtures