维度对计算决策树复杂性的影响

决策树递归地分割特征空间$\mathbb{R}^{d}$，并基于所得划分赋予类标签。几十年来，决策树一直是基础机器学习工具包的一部分。大量工作致力于从训练数据启发式地计算决策树，通常特别旨在最小化所得树的规模。相比之下，对于给定训练数据计算最小规模树这一底层计算问题的复杂性知之甚少。我们针对特征空间维数$d$研究该问题。我们证明其可在$O(n^{2d + 1}d)$时间内求解，但在合理的复杂性理论假设下，不可能达到$f(d) \cdot n^{o(d / \log d)}$的运行时间，其中$n$为训练样本数。当恰有两个类别且$R$为标以第一类的树叶数上界时，该问题可在$(dR)^{O(dR)} \cdot n^{1+o(1)}$时间内求解。