面向实时预测应用的随机森林集成极端剪枝研究
机器学习
2015-03-18 v1
摘要
随机森林(RF)是一种由Breiman在十多年前提出的集成监督机器学习技术。与其他集成技术相比，它已证明其准确性和优越性。然而，许多研究者认为仍有提升和改善其性能准确性的空间。这解释了为何在过去十年中出现了许多RF的扩展，每个扩展采用各种技术和策略来改进RF的某些方面。由于经验证明当组成模型之间存在显著多样性时集成往往产生更好的结果，本文的目标有两个。首先，它研究如何应用数据聚类（一种著名的多样性技术）来识别RF中相似决策树的组，以便通过从每组（簇）中选择一个代表来消除冗余树。其次，这些可能多样化的代表随后被用于产生一种称为CLUB-DRF的RF扩展，其规模比RF小得多，但性能至少与RF一样好，且大多在准确性方面表现出更高性能。后者涉及一种称为集成剪枝的已知技术。在UCI仓库的15个真实数据集上的实验结果证明了我们所提扩展相对于传统RF的优越性。我们大多数实验实现了至少95%或以上的剪枝水平，同时保持或超越RF的准确性。
引用
@article{arxiv.1503.04996,
title = {On Extreme Pruning of Random Forest Ensembles for Real-time Predictive Applications},
author = {Khaled Fawagreh and Mohamad Medhat Gaber and Eyad Elyan},
journal= {arXiv preprint arXiv:1503.04996},
year = {2015}
}
备注
10 pages, 4 Figures