基于多臂老虎机的决策树优化
机器学习
2025-08-11 v1 人工智能
摘要
决策树在没有适当约束的情况下容易变得过于复杂且易产生过拟合现象。为解决此问题，修剪操作是优化决策树的关键部分，不仅可以降低树的复杂度，还可以降低生成过拟合模型的概率。传统的修剪技术，如成本-复杂性修剪（CCP）和简化误差修剪（REP），主要基于基于贪心方法的技巧，旨在在修剪决策树节点时获得即时性能提升。然而，这可能会导致长期泛化能力较差，当面对小且复杂的数据集时，树模型在引入未见数据样本时表现不佳。为解决此挑战，我们提出一种基于多臂老虎机（MAB）的修剪方法，这是一种基于强化学习（RL）的技术，将动态修剪树以生成具有更好泛化性的最优决策树。我们的 proposed 方法将修剪过程假设为一个探索-开发问题，利用 MAB 算法根据每次修剪动作的反馈寻找最优的分支节点进行修剪。在多个基准数据集上的实验评估表明，我们的 proposed 方法在预测性能上优于传统方法。这表明利用 MAB 以动态和概率的方式进行决策树修剪具有潜力，从而优化基于决策树的模型。
引用
@article{arxiv.2508.05957,
title = {Multi-Armed Bandits-Based Optimization of Decision Trees},
author = {Hasibul Karim Shanto and Umme Ayman Koana and Shadikur Rahman},
journal= {arXiv preprint arXiv:2508.05957},
year = {2025}
}