深度、宽度和树大小在深度森林表达能力中的作用
机器学习
2025-02-04 v1 机器学习
摘要
随机森林是经典的集成算法，它构建多个随机化决策树，并通过简单平均聚合其预测。\citet{zhou2019deep}进一步提出了具有多层森林的深度森林算法，该算法在各种任务中优于随机森林。深度森林的性能在实践中与三个超参数相关：深度、宽度和树大小，但对其理论解释知之甚少。本文首次给出了深度森林关于这三个超参数的逼近复杂度的上下界。我们的结果证实了深度的独特作用，与宽度和树大小相比，深度可以指数级地增强深度森林的表达能力。实验证实了理论发现。
引用
@article{arxiv.2407.05108,
title = {The Role of Depth, Width, and Tree Size in Expressiveness of Deep Forest},
author = {Shen-Huan Lyu and Jin-Hui Wu and Qin-Cheng Zheng and Baoliu Ye},
journal= {arXiv preprint arXiv:2407.05108},
year = {2025}
}