最大割决策树：在准确率与运行时间上改进决策树
机器学习
2020-06-26 v1 机器学习
摘要
决策树是一种被广泛使用的分类方法，既单独使用，也作为多种不同集成学习方法的构建模块。最大割（Max-Cut）决策树对分类决策树构建的标准基线模型（确切地说是 CART Gini）进行了新颖的修改。一处修改涉及一种替代的分裂度量——最大割，其基于最大化属于不同类别且位于阈值两侧的所有观测对之间的距离。另一处修改是从在每个节点局部使用主成分分析（PCA）构造的输入特征的线性组合中选择决策特征。我们的实验表明，这种基于节点的局部 PCA 配合新颖的分裂修改能够显著改善分类，同时与基线决策树相比大幅减少计算时间。此外，我们的结果在更高维度或更多类别的数据集上评估时最为显著；例如，对于数据集 CIFAR-100，准确率提升了 49%，同时 CPU 时间减少了 94%。这些引入的修改显著推进了决策树在困难分类任务中的能力。
引用
@article{arxiv.2006.14118,
title = {The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of Decision Trees},
author = {Jonathan Bodine and Dorit S. Hochbaum},
journal= {arXiv preprint arXiv:2006.14118},
year = {2020}
}
备注
12 pages, 8 figures, 5 tables