单变量与多变量决策树上的相关性与非预期偏差
机器学习
2023-12-05 v1 人工智能
摘要
决策树是易于理解、可解释且性能良好的分类模型。在过去四十年中，人们提出了大量表达能力不断增强的变体。我们对比了单变量决策树与多变量决策树这两大家族：前者的划分函数通过轴平行超平面对数据进行划分，而后者的划分则通过斜超平面对数据进行划分。后者包含前者，因此多变量决策树原则上更强大。然而令人惊讶的是，在文献中单变量决策树始终表现出可比的性能。我们利用合成基准数据集和真实世界基准数据集分析了其背后的原因。我们的研究问题检验了去除数据集中特征间相关性的预处理阶段是否会对单变量与多变量决策树的相对性能产生影响。我们发现现有的基准数据集可能存在偏向于单变量决策树的偏差。
引用
@article{arxiv.2312.01884,
title = {Correlation and Unintended Biases on Univariate and Multivariate Decision Trees},
author = {Mattia Setzu and Salvatore Ruggieri},
journal= {arXiv preprint arXiv:2312.01884},
year = {2023}
}