深度森林
机器学习
2020-07-07 v4 机器学习
摘要
当前的深度学习模型大多建立在神经网络之上，即由多层可参数化的可微非线性模块构成，可通过反向传播进行训练。在本文中，我们探索了基于不可微模块构建深度模型的可能性。我们推测，深度神经网络成功背后的奥秘很大程度上归功于三个特性，即逐层处理、模型内特征变换和足够的模型复杂度。我们提出了 gcForest 方法，该方法生成的“深度森林”具备这些特性。这是一种决策树集成方法，其超参数远少于深度神经网络，且模型复杂度可以以数据依赖的方式自动确定。实验表明，其性能对超参数设置相当鲁棒，以至于在大多数情况下，即使面对来自不同领域的不同数据，使用相同的默认设置也能获得优异的性能。这项研究开启了基于不可微模块的深度学习的大门，并展示了在不使用反向传播的情况下构建深度模型的可能性。
引用
@article{arxiv.1702.08835,
title = {Deep Forest},
author = {Zhi-Hua Zhou and Ji Feng},
journal= {arXiv preprint arXiv:1702.08835},
year = {2020}
}