ToPs：基于预测器树的集成学习

我们提出了一种新的集成学习方法。该方法构建了一棵特征空间子集树，并将一个预测器（预测模型）——通过在给定的基础学习器族中选定一个，在内生确定的训练集上进行训练而得到——关联到树的每个节点；我们将由此产生的对象称为预测器树。最优（局部最优）预测器树通过递归方式导出；每一步都联合优化前一棵树终端节点的分裂，以及该分裂中每个子集的学习器、训练集（进而预测器）的选择。新实例的特征向量决定了穿过最优预测器树的唯一路径；最终预测聚合了沿此路径各预测器的预测结果。我们基于基础学习器的 Rademacher 复杂度导出了最终预测器的损失界限。我们报告了在多种数据集上的大量实验结果，表明我们的方法相较于 SOTA 机器学习算法（包括各种集成学习方法）提供了统计显著的改进。我们的方法之所以有效，是因为它允许我们在需要时内生地创建更复杂的学习器，并将学习器和训练集内生地与数据集特征相匹配，同时仍能避免过拟合。