黑盒监督学习模型中预测变量效应的可视化
统计方法学
2019-08-21 v2
摘要
在拟合黑盒监督学习模型（例如复杂树、神经网络、提升树、随机森林、最近邻、局部核加权方法等）时，可视化各个预测变量的主效应及其低阶交互效应通常很重要，而偏依赖（PD）图是实现此目的的最流行方法。然而，如果预测变量远非独立（在大型观测数据集中很常见），PD图会涉及一个严重缺陷。即，PD图需要在远离训练数据多元包络的预测值处对响应进行外推，这可能使PD图不可靠。尽管边际图（M图）不需要此类外推，但当预测变量相关时，它们会产生严重偏差和误导性结果，类似于回归中的遗漏变量偏差。我们提出了一种称为累积局部效应（ALE）图的新可视化方法，它继承了PD图和M图的优良特性，而不继承它们先前的缺点。与M图类似，ALE图不需要外推；与PD图类似，它们不受遗漏变量现象偏置。此外，ALE图的计算代价远低于PD图。
引用
@article{arxiv.1612.08468,
title = {Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models},
author = {Daniel W. Apley and Jingyu Zhu},
journal= {arXiv preprint arXiv:1612.08468},
year = {2019}
}
备注
The R package ALEPlot is available on CRAN. The new version contains refined definitions of ALE effects, a new illustrative example, theorems and proofs of asymptotic properties of ALE effects and estimators, and extra implementation details