特征重要性：重新审视 Shapley 值与 LOCO
统计方法学
2023-03-13 v1 机器学习
摘要
近来，统计学与机器学习中的可解释性备受关注。可解释性的一个方面是量化各种特征（或协变量）的重要性。定义变量重要性的两种流行方法是 LOCO（Leave Out COvariates，留除协变量）和 Shapley 值。我们考察了这些方法的特性及其优缺点。我们特别关注特征间的相关性效应，这种相关性会模糊可解释性。与某些说法相反，Shapley 值并不能消除特征相关性。我们批评了 Shapley 值的博弈论公理，并提出了一些新公理。我们提出了新的、更具统计导向的特征重要性公理以及满足这些公理的一些度量。然而，校正相关性是一种浮士德式的交易：消除相关性效应会产生其他形式的偏差。最终，我们推荐一个略微修改版的 LOCO。我们简要探讨了如何修改 Shapley 值以更好地应对特征相关性。
引用
@article{arxiv.2303.05981,
title = {Feature Importance: A Closer Look at Shapley Values and LOCO},
author = {Isabella Verdinelli and Larry Wasserman},
journal= {arXiv preprint arXiv:2303.05981},
year = {2023}
}