具有局部自适应不确定性区的三进制决策树
机器学习
2026-05-22 v1
摘要
决策树使用硬二进制阈值对特征空间进行分区，为距离决策边界较远的实例与直接位于其上的实例分配相同的置信度。我们引入三进制决策树，为每个分割节点增添一个宽度为delta的不确定性区，其中delta以最优阈值为中心。处于该区域内的实例接收由两侧子树加权混合形式的预测，并被标记为边界不确定，表明下游应用可能需对此类预测予以不同处理。关键在于，delta在每个节点基于标准CART分割寻找期间已可获得的统计数据中计算，无需外部噪声指定。我们提出并评估了五种delta估计方法：质量平台（split criterion曲线的平台宽度）、类别重叠（经验类别分布重叠）、增益比（相对于分割熵的分割质量）、节点自助（节点级重抽样下的阈值方差）、边际（基于SVM的距离到最近跨类训练样本的距离）。在72个OpenML-CC18数据集上进行5折交叉验证评估，所有五种方法在决定性准确率上均显著优于标准CART（Wilcoxon符号秩检验, p < 0.001）。其中边际方法实现了最佳效率（每单位边界不确定标记率的0.104准确率提升），在42个数据集中获胜，且无需额外超参数。在三个Breiman合成基准上的分析显示，边际方法在干净数据上自我校准，而节点自助与质量平台能最佳跟踪理论不可约误差。实验表明，在四个医疗和金融数据集上，节点自助在乳腺癌筛查中以+0.71%的决定性准确率通过标记10.8%的筛查案例为边界不确定。
引用
@article{arxiv.2605.22740,
title = {Ternary Decision Trees with Locally-Adaptive Uncertainty Zones},
author = {William Smits},
journal= {arXiv preprint arXiv:2605.22740},
year = {2026}
}
备注
15 pages, 4 figures, 5 appendix sections. Submitted to Data Mining and Knowledge Discovery (DAMI)