WildWood:一种新的随机森林算法
机器学习
2023-06-14 v2 机器学习
摘要
我们介绍了 WildWood(WW),一种用于监督学习的随机森林(RF)型集成算法。标准 RF 算法使用自助法袋外样本计算袋外分数,而 WW 利用这些样本产生经改进的预测,该预测由森林中每棵完全生长树上所有可能子树的预测聚合给出。这是通过对袋外样本计算的指数权重聚合实现的,得益于一种称为上下文树加权的算法,这些权重可被精确且高效地计算。这一改进,结合用于加速分裂寻找的直方图策略,使 WW 相较于其他成熟的集成方法(如标准 RF 与极端梯度提升算法)更快且具竞争力。
引用
@article{arxiv.2109.08010,
title = {WildWood: a new Random Forest algorithm},
author = {Stéphane Gaïffas and Ibrahim Merad and Yiyang Yu},
journal= {arXiv preprint arXiv:2109.08010},
year = {2023}
}