机器学习模型中的边际和条件重要性度量及其与条件平均处理效应的关系
机器学习
2025-01-30 v2 机器学习
摘要
解释黑箱机器学习模型具有挑战性，因为它们对数据有很强的依赖性且本质上是非参数的。本文通过“边际变量重要性度量”（MVIM）重新引入了重要性的概念，这是一种基于真实条件期望函数的预测变量重要性的模型无关度量。MVIM评估预测变量对连续或离散结果的影响。受Breiman (2001)和Fisher等人(2019)的启发，提出了一种基于置换的估计方法来估计MVIM。当预测变量高度相关时，MVIM估计量是有偏的，因为黑箱模型难以在低概率区域进行外推。为了解决这个问题，我们研究了MVIM的偏差-方差分解，以理解高相关性下偏差的来源和模式。引入了从Strobl等人(2008)改编的条件变量重要性度量（CVIM）来减少这种偏差。MVIM和CVIM都与条件平均处理效应（CATE）呈现二次关系。
引用
@article{arxiv.2501.16988,
title = {Marginal and Conditional Importance Measures from Machine Learning Models and Their Relationship with Conditional Average Treatment Effect},
author = {Mohammad Kaviul Anam Khan and Olli Saarela and Rafal Kustra},
journal= {arXiv preprint arXiv:2501.16988},
year = {2025}
}