雅可比对齐随机森林

轴对齐决策树速度快且稳定，但在决策边界被旋转或依赖特征交互作用的数据集上表现不佳，此时需要线性组合特征而非单个特征阈值才能获得信息性分割。斜率森林通过节点超平面分割来解决此问题，但增加了计算成本和实现复杂度。我们提出一种简单方法：JAR（Jacobian-Aligned Random Forests）。具体而言，我们首先拟合轴对齐森林以估计类别概率或回归输出，计算这些预测相对于每个特征的有限差分梯度，将其聚合为预期雅可比外积（这是期望梯度外积（EGOP）的推广），并将其用作所有输入的单一全局线性预条件器。这种监督预条件器对特征空间应用一次全局旋转，然后将转换后的数据交给标准轴对齐森林处理，既保留了即插即用的训练管道，又捕获了本难以用许多轴对齐分割近似的斜率边界和特征交互作用。该构造同样适用于提供梯度的任何模型，虽然本文重点关注随机森林和梯度提升树。在表格分类和回归基准测试中，这种预条件化始终改善轴对齐森林，常常匹配或超过斜率基线，同时缩短训练时间。我们的实验结果和理论分析表明，监督预条件化能够在保持轴对齐树的简单性和鲁棒性的同时，恢复大部分斜率森林的准确性。