用于最优随机森林的自适应分裂平衡

在本文中，我们提出了一种新的随机森林算法，该算法使用一种新颖的自适应分裂平衡方法构建树。我们不依赖广泛使用的随机特征选择，而是提出了一种基于排列的平衡分裂准则。自适应分裂平衡森林 (ASBF) 在 Lipschitz 类下实现了极小极大最优性。其局部化版本在叶节点级别拟合局部回归，在任何 $q\in\mathbb{N}$ 和 $\beta\in(0,1]$ 的广泛 H"older 类 $\mathcal{H}^{q,\beta}$ 问题下达到了极小极大速率。我们指出，在树构建中过度依赖辅助随机性可能会损害树的近似能力，导致次优结果。相反，所提出的基于排列的低随机性方法在广泛的模型中展示了最优性。尽管随机森林已知在实证中表现良好，但其理论收敛速度较慢。构建树时不依赖数据的简化版本提供了更快的速率，但在树生长过程中缺乏适应性。我们提出的方法在简单、平滑的场景中实现了最优性，同时能够从数据中自适应地学习树结构。此外，我们建立了统一上界，并证明 ASBF 改善了平均处理效应估计问题中的维度依赖性。模拟研究和现实世界应用证明了我们的方法优于现有的随机森林。