MABSplit：利用多臂老虎机加速森林训练
机器学习
2022-12-16 v1 数据结构与算法
摘要
随机森林是当今使用最广泛的机器学习模型之一，尤其在需要可解释性的领域。我们提出一种加速随机森林及其他流行基于树的学习方法训练的算法。我们算法的核心是一个新颖的节点分裂子程序，称为 MABSplit，用于在构建决策树时高效寻找分裂点。我们的算法借鉴多臂老虎机（multi-armed bandit）文献中的技术，明智地决定如何在候选分裂点间分配样本与计算力。我们提供理论保证：MABSplit 将每个节点分裂的样本复杂度从数据点数量的线性提升至对数级。在某些设定下，MABSplit 带来 100 倍更快的训练（训练时间减少 99%）且不损失任何泛化性能。当 MABSplit 用于多种基于森林的变体（如 Extremely Random Forests 与 Random Patches）时，我们展示了类似的加速。我们还表明我们的算法可用于分类与回归任务。最后，我们展示在固定计算预算下 MABSplit 在泛化性能与特征重要性计算上优于现有方法。所有实验结果与 https://github.com/ThrunGroup/FastForest 上的一行脚本可复现。
引用
@article{arxiv.2212.07473,
title = {MABSplit: Faster Forest Training Using Multi-Armed Bandits},
author = {Mo Tiwari and Ryan Kang and Je-Yong Lee and Sebastian Thrun and Chris Piech and Ilan Shomorony and Martin Jinye Zhang},
journal= {arXiv preprint arXiv:2212.07473},
year = {2022}
}
备注
Published at NeurIPS 2022, 30 pages