RO-FIGS：基于树的高效且富有表达力的集合模型
机器学习
2025-05-08 v1
摘要
基于树的模型通常对无信息特征具有鲁棒性，能够准确捕捉非平滑、复杂的决策边界，因此在表格数据集上往往以显著更低的计算成本超越基于神经网络的模型。然而，传统树基集合模型的表达复杂关系的能力受限于仅使用单个特征进行分割。为提高树基方法的效率和表达能力，我们提出了随机斜率快速可解释贪心树和求和（RO-FIGS）。RO-FIGS 基于快速可解释贪心树和求和，扩展其为学习具有斜率或多变量分割的树，其中每个分割由来自随机特征子集的线性组合学习。这是有助于揭示特征之间的相互作用并提升性能。该方法适用于包含数值和类别特征的表格数据集。我们在 22 个真实世界的表格数据集上评估 RO-FIGS，显示其在其他树基和神经网络方法中表现优异且模型更小。此外，我们分析其分割以揭示有价值的特征相互作用见解，丰富了从 SHAP 概要图中学习到的信息，从而展示了 RO-FIGS 模型的增强可解释性。该方法适用于在准确性和可解释性之间取得平衡的应用场景。
引用
@article{arxiv.2504.06927,
title = {RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data},
author = {Urška Matjašec and Nikola Simidjievski and Mateja Jamnik},
journal= {arXiv preprint arXiv:2504.06927},
year = {2025}
}