在线决策树的一种急切分裂策略
机器学习
2021-08-03 v2 机器学习
摘要
决策树集成在实践中被广泛使用。本工作中，我们在集成设置下研究用一种严谨但更急切的分裂策略（我们此前已作为 Hoeffding AnyTime Tree 发表）来替换最先进的在线树学习器 Hoeffding Tree 的分裂策略的有效性。Hoeffding AnyTime Tree（HATT）使用 Hoeffding 检验来判断当前最佳候选分裂是否优于当前分裂，并允许修订，而 Hoeffding Tree 旨在判断最佳候选是否优于次佳候选，且一旦选定检验则永久固定。HATT 收敛于理想批量树而 Hoeffding Tree 不会。我们发现 HATT 是在线装袋（online bagging）和在线提升（online boosting）集成的有效基学习器。在 UCI 和合成流上，作为基学习器的 HATT 在我们认为是在线学习文献中最大且最全面的测试基准集上，对大多数被测集成以 0.05 显著性水平优于 HT。我们的结果表明，在大量集成设置中 HATT 是优于 Hoeffding Tree 的替代方案。
引用
@article{arxiv.2010.10935,
title = {An Eager Splitting Strategy for Online Decision Trees},
author = {Chaitanya Manapragada and Heitor M Gomes and Mahsa Salehi and Albert Bifet and Geoffrey I Webb},
journal= {arXiv preprint arXiv:2010.10935},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2010.08199