基于去相关的特征重要性概念及随机森林回归的趋势检测
机器学习
2023-03-03 v1 人工智能
机器学习
摘要
在许多研究中，我们想确定某些特征对因变量的影响。更具体地，我们关注影响的强度——即该特征是否相关？——若相关，该特征如何影响因变量。近来，数据驱动方法如随机森林回归（random forest regression）已进入应用（Boulesteix 等，2012）。这些模型可直接导出特征重要性度量，其是影響强度的自然指标。对于相关特征，特征与因变量间的相关或秩相关通常用于确定影响的性质。较新方法中，部分可度量特征间交互，基于建模途径。特别是当使用机器学习模型时，SHAP 分数是近期确定这些趋势的突出方法（Lundberg 等，2017）。本文中，我们引入基于充分研究的 Gram-Schmidt 去相关方法的全新特征重要性概念。此外，我们提出两种利用随机森林回归识别数据中趋势的估计量，即所谓的绝对与相对横截率。我们在多种合成与真实世界数据集上实证比较了所提估计量与既有估计量的性质。
引用
@article{arxiv.2303.01156,
title = {A Notion of Feature Importance by Decorrelation and Detection of Trends by Random Forest Regression},
author = {Yannick Gerstorfer and Lena Krieg and Max Hahn-Klimroth},
journal= {arXiv preprint arXiv:2303.01156},
year = {2023}
}