决策树在实值与类别特征上的泛化性质

我们从数据划分的角度重新审视二叉决策树。我们引入划分函数的概念，并将其与增长函数和 VC 维相联系。我们考虑三类特征：实值、类别有序和类别无序，每类具有不同的分裂规则。对于每种特征类型，我们先给出决策树桩类的划分函数的上界，再通过递归方法将界限推广到一般决策树类（任意固定结构）。利用这些新结果，我们能够找到在 $\ell$ 个实值特征样本上决策树桩的精确 VC 维，其由满足 $2\ell \ge \binom{d}{\lfloor\frac{d}{2}\rfloor}$ 的最大整数 $d$ 给出。此外，我们证明在 $\ell$ 个实值特征样本上具 $L_T$ 片叶子的二叉树结构的 VC 维为 $O(L_T \log(L_T\ell))$。最后，我们基于这些结果 elabor 了一种剪枝算法，在多个数据集上优于代价复杂度和误差缩减剪枝算法，且优势在于无需交叉验证。