稀疏投影斜随机森林（SPORF）
机器学习
2024-06-27 v6 机器学习
摘要
决策森林，包括随机森林与梯度提升树，最近在各种机器学习场景中展示了最先进的性能。决策森林通常是轴对齐决策树的集成；即仅沿特征维度进行分裂的树。相反，许多近期对决策森林的扩展基于轴斜向分裂。不幸的是，这些扩展丧失了基于轴对齐分裂的决策森林的一个或多个优良性质，例如对多噪声维度的鲁棒性、可解释性或计算效率。我们引入了另一种决策森林，称为“稀疏投影斜随机森林”（SPORF）。SPORF使用非常稀疏的随机投影，即一小部分特征的线性组合。在一个包含>100个具有不同维度、样本量与类别数的分类问题的标准基准套件上，SPORF比现有最先进算法的准确率显著提高。为阐明SPORF如何解决轴对齐与现有斜向决策森林方法的局限，我们进行了广泛的模拟实验。SPORF通常比现有决策森林有性能提升，同时缓解计算效率与可扩展性并维持可解释性。SPORF可轻易融入其他集成方法如提升法以获得潜在的类似收益。
引用
@article{arxiv.1506.03410,
title = {Sparse Projection Oblique Randomer Forests},
author = {Tyler M. Tomita and James Browne and Cencheng Shen and Jaewon Chung and Jesse L. Patsolic and Benjamin Falk and Jason Yim and Carey E. Priebe and Randal Burns and Mauro Maggioni and Joshua T. Vogelstein},
journal= {arXiv preprint arXiv:1506.03410},
year = {2024}
}
备注
31 pages; submitted to Journal of Machine Learning Research for review