斜决策树及其提升与随机森林的一致性
统计理论
2025-02-17 v4 统计理论
摘要
分类与回归树（CART）、随机森林（RF）与梯度提升树（GBT）可能是最流行的一组统计学习方法。然而，它们的统计一致性只能在关于底层回归函数的非常限制性假设下被证明。作为标准 CART 的扩展，斜决策树（ODT）使用预测变量的线性组合作为划分变量，已受到诸多关注。ODT 在数值上往往优于 CART 且需要更少的划分。在本文中，我们表明只要回归函数是 可积的，ODT 对非常一般的回归函数是一致的。接着，我们证明了基于 ODT 的随机森林（ODRF）的一致性，无论其是否完全生长。最后，我们通过借鉴正交匹配追踪技术提出了一种用于回归的 GBT 集成方法，并在非常温和的树结构条件下研究其一致性。根据所建立的理论改进现有计算机包后，在真实数据集上的大量实验表明，我们的集成提升树与 ODRF 相比 RF 及其他森林均有显著的整体改进。
引用
@article{arxiv.2211.12653,
title = {Consistency of Oblique Decision Tree and its Boosting and Random Forest},
author = {Haoran Zhan and Yu Liu and Yingcun Xia},
journal= {arXiv preprint arXiv:2211.12653},
year = {2025}
}