在决策树学习中利用选择的力量

我们提出了标准且经验成功的决策树学习算法（如 ID3、C4.5 和 CART）的一个简单推广。这些数十年来处于机器学习核心的算法本质上是贪婪的：它们通过迭代地在最佳属性上分裂来生长决策树。我们的算法 Top-$k$ 考虑 $k$ 个最佳属性作为可能的分裂点，而非仅取单一最佳属性。我们从理论与经验上展示了这一简单推广的力量。我们首先证明了一个{\sl 贪婪性层级定理}，表明对每个 $k \in \mathbb{N}$，Top-$(k+1)$ 可比 Top-$k$ 强大得多：存在数据分布使得前者达到精度 $1-\varepsilon$，而后者仅达到精度 $\frac1{2}+\varepsilon$。随后我们通过大量实验表明，Top-$k$ 优于两类主要的决策树学习方法：经典贪婪算法与较新的“最优决策树”算法。一方面，Top-$k$ 在广泛基准上相较贪婪算法持续获得显著精度提升。另一方面，Top-$k$ 比最优决策树算法更具可扩展性，并能处理远超这些算法能力范围的数据集与特征集规模。