典型相关森林
机器学习
2017-08-10 v6 机器学习
摘要
我们引入了典型相关森林(CCF)，一种用于分类和回归的新型决策树集成方法。单个典型相关树是二叉决策树，其超平面分裂基于训练期间计算的局部典型相关系数。与轴对齐的替代方法不同，CCF的决策面不受限于输入特征的坐标系，因此能更自然地表示具有相关输入的数据。CCF自然地适应多个输出，提供与随机森林相似的计算复杂度，并继承了其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分，我们还引入了投影自助法，这是一种用于斜决策树集成的新型bagging替代方法，它在选择分裂点时保持使用完整数据集，通常能提高预测精度。我们的实验表明，即使没有参数调优，CCF在分类和回归问题上均优于轴对齐的随机森林和其他最先进的树集成方法，同时提供了更高的预测精度和更快的训练时间。我们进一步表明，它们优于近期一项广泛调查中考虑的所有179个分类器。
引用
@article{arxiv.1507.05444,
title = {Canonical Correlation Forests},
author = {Tom Rainforth and Frank Wood},
journal= {arXiv preprint arXiv:1507.05444},
year = {2017}
}
备注
Substantial update: longer journal format version which now covers regression and multiple output prediction