基于离群点检测的随机森林极致剪枝树选择方法
机器学习
2015-03-19 v1
摘要
随机森林（RF）是一种由 Breiman 在十多年前提出的集成分类技术。与其他集成技术相比，它已证明其准确性和优越性。然而，许多研究者认为在预测准确性方面仍有提升和改进性能的余地。这解释了为何在过去十年中出现了许多 RF 的扩展，其中每个扩展采用各种技术和策略来改进 RF 的某些方面。由于经验上已证明，当组成模型之间存在显著多样性时，集成往往产生更好的结果，本文的目标是双重的。首先，它研究无监督学习技术，即局部离群因子（LOF），如何用于识别 RF 中多样的树。其次，具有最高 LOF 分数的树随后被用于产生一种称为 LOFB-DRF 的 RF 扩展，其规模远小于 RF，但性能至少与 RF 相当，且在准确性方面大多表现出更高性能。后者涉及一种称为集成剪枝的已知技术。在 10 个真实数据集上的实验结果证明了我们所提扩展相对于传统 RF 的优越性。在提升集成预测准确性的同时，实现了前所未有的达到 99% 的剪枝水平。这种极高的剪枝水平使该技术成为实时应用的良好候选。
引用
@article{arxiv.1503.05187,
title = {An Outlier Detection-based Tree Selection Approach to Extreme Pruning of Random Forests},
author = {Khaled Fawagreh and Mohamad Medhat Gaber and Eyad Elyan},
journal= {arXiv preprint arXiv:1503.05187},
year = {2015}
}
备注
21 pages, 4 Figures. arXiv admin note: substantial text overlap with arXiv:1503.04996