一种基于神经网络架构的广义决策树集成：分布式梯度提升森林（DGBF）
机器学习
2024-02-07 v1 人工智能
摘要
随机森林和梯度提升等树集成算法目前是建模离散或表格数据的主流方法，然而，它们无法像神经网络那样，凭借其多层结构从原始数据中进行层次化表示学习，而这是深度学习问题和非结构化数据建模的关键特征。这一局限性源于树算法因其数学性质而无法使用反向传播进行训练。然而，在这项工作中，我们证明了装袋法和提升法的数学公式可以结合起来，定义一种图结构树集成算法，该算法在树之间自然地进行分布式表示学习过程（无需使用反向传播）。我们将这种新方法称为分布式梯度提升森林（DGBF），并证明了随机森林和梯度提升都可以表示为DGBT的特定图架构。最后，我们发现分布式学习在9个数据集中的7个上优于随机森林和梯度提升。
引用
@article{arxiv.2402.03386,
title = {A generalized decision tree ensemble based on the NeuralNetworks architecture: Distributed Gradient Boosting Forest (DGBF)},
author = {Ángel Delgado-Panadero and José Alberto Benítez-Andrades and María Teresa García-Ordás},
journal= {arXiv preprint arXiv:2402.03386},
year = {2024}
}