面向大规模回归的两阶段最佳评分随机森林
机器学习
2019-05-10 v1 机器学习
摘要
我们提出了一种针对大规模回归问题的新方法，即两阶段最佳评分随机森林（TBRF）。"最佳评分"是指从一定数量的纯随机回归树候选者中选出经验性能最优的一棵回归树，"两阶段"是指将原始的随机树分裂过程分为两步：在第一阶段，特征空间被划分为互不重叠的单元；在第二阶段，子树在这些单元上分别生长。该算法的优势可总结如下：首先，TBRF中的纯随机性带来了近乎最优的学习率，并使集成学习成为可能，从而解决了长期困扰现有算法的边界不连续问题。其次，两阶段过程为并行计算铺平了道路，带来了计算效率。最后但同样重要的是，TBRF可作为一个包容性框架，不同的主流回归策略（如线性预测器和最小二乘支持向量机（LS-SVMs））也可根据底层数据集的特征作为子树叶节点上的赋值方法被纳入。在多个大规模真实数据集上与其他最先进方法的数值比较评估验证了本算法良好的预测精度与高计算效率。
引用
@article{arxiv.1905.03438,
title = {Two-stage Best-scored Random Forest for Large-scale Regression},
author = {Hanyuan Hang and Yingyi Chen and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:1905.03438},
year = {2019}
}