受几何平均度量学习启发的决策树新型分裂准则
机器学习
2022-06-22 v2
摘要
决策树(DT)因其在众多应用中的出色经验性能与可解释性而持续吸引研究关注。然而，传统且广泛使用的单变量决策树(UDTs)的生长颇为耗时，因为它们需在每内部节点遍历所有特征以寻找使不纯度最大降低的分裂值。本文新设计一种分裂准则以加速生长。该准则由几何平均度量学习(GMML)导出，并在其对角化度量矩阵约束下优化，从而可一次性获得特征判别能力的闭式排序，并将每节点排序第1的特征用于生长意向DT（称为dGMML-DT，其中d为对角化缩写）。我们在基准数据集上评估了所提方法及其对应集成模型的性能。实验表明，dGMML-DT以平均10倍加速比实现与UDTs相当或更优的分类结果。此外，dGMML-DT可直扩至其多变量对应体(dGMML-MDT)而无需费力操作。
引用
@article{arxiv.2204.11011,
title = {A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning for Decision Tree},
author = {Dan Li and Songcan Chen},
journal= {arXiv preprint arXiv:2204.11011},
year = {2022}
}
备注
Accepted by ICPR2022