随机森林的贝叶斯后正则化
机器学习
2023-06-07 v1 人工智能
摘要
随机森林是强大的集成学习算法，广泛应用于各种机器学习任务。然而，它们倾向于过拟合含噪声或无关的特征，从而导致泛化性能下降。后正则化技术旨在通过在训练后修改所学集成的结构来缓解此问题。在此，我们提出贝叶斯后正则化，以利用靠近根节点的叶节点所捕获的可靠模式，同时潜在地降低树中更深、更具体且可能含噪声的叶节点的影响。该方法允许一种剪枝形式，其不改变树的总体结构，而是根据叶节点与根节点的接近程度调整其影响。我们在多个机器学习数据集上评估了方法的性能。我们的方法展现出与最先进方法相竞争的性能，并且在某些情况下在预测精度和泛化方面超越了它们。
引用
@article{arxiv.2306.03702,
title = {Bayesian post-hoc regularization of random forests},
author = {Bastian Pfeifer},
journal= {arXiv preprint arXiv:2306.03702},
year = {2023}
}