Hollow-tree Super：一种用于提升树模型中特征重要性的方向性与可扩展方法
机器学习
2021-11-17 v1 机器学习
统计方法学
摘要
当前提升树建模的局限阻碍了对具有大量特征的数据集的有效扩展，尤其在考察各特征对分类的影响大小与方向性时。我们提出一种新方法，Hollow-tree Super (HOTS)，以解决并可视化涉及大量特征的提升树模型中的特征重要性。此外，HOTS 允许考察各种特征对分类的方向性与大小。使用 Iris 数据集，我们首先将 HOTS 与基尼重要性、偏依赖图及置换重要性进行比较，并展示 HOTS 如何解决这些方法存在的弱点。我们随后展示 HOTS 如何用于高维神经科学数据：取 60 名精神分裂症患者，应用该方法确定由 PANSS 判定的对精神分裂症分类最重要的脑区。HOTS 在 Iris 数据集中有效复现并支持了基尼重要性、偏依赖图与置换重要性的发现。当应用于精神分裂症患者脑数据集时，HOTS 能够分辨出分类的前 10 个最重要特征，以及它们相对于其他特征在分类中的方向性与大小。交叉验证支持这相同的 10 个特征在多个树中一致用于决策过程，且这些特征主要定位于枕叶与顶叶皮层——精神分裂症患者中常受扰的脑区。亟需开发一种能处理含大量特征的大数据集需求的方法。HOTS 代表了一种在提升树建模大规模应用时考察特征重要性方向性与大小的独特方式。
引用
@article{arxiv.2104.03088,
title = {Hollow-tree Super: a directional and scalable approach for feature importance in boosted tree models},
author = {Stephane Doyen and Hugh Taylor and Peter Nicholas and Lewis Crawford and Isabella Young and Michael Sughrue},
journal= {arXiv preprint arXiv:2104.03088},
year = {2021}
}
备注
28 pages, 1 table, 7 figures, PDF format - Submitted to PLOSONE pending review