窥视黑盒预测模型的因果视角：基于因果归因的预测模型解释
机器学习
2020-08-04 v1 人工智能
机器学习
摘要
随着机器学习训练的预测模型在医疗保健、安全、刑事司法、金融和教育等广泛高风险应用中的采用日益增加，对解释此类模型及其预测的有效技术的需求也在增长。我们的目标是在预测模型为黑盒的情况下解决该问题；即我们只能观察模型对各种输入的响应，但不知道预测模型的内部结构、其参数、目标函数以及用于优化模型的算法。我们将解释黑盒预测模型的问题归结为从模型输入及相应输出的观测中估计每个模型输入对模型输出的因果效应。我们使用 Rubin-Neyman 潜在结果框架的变体来从观测数据估计因果效应，从而估计模型输入对模型输出的因果效应。我们展示了将模型输出的责任因果归因到不同模型输入的结果如何用于解释预测模型并说明其预测。我们给出了实验结果，证明了我们的方法通过因果归因解释黑盒预测模型的有效性，实验涉及一个合成数据集（其中影响输出变量的输入变量为设计已知）和两个真实世界数据集：手写数字分类和帕金森病严重程度预测。由于我们的方法不需要关于预测模型算法的知识，且除输入-输出响应可观测外不对黑盒预测模型作任何假设，原则上可应用于任何黑盒预测模型。
引用
@article{arxiv.2008.00357,
title = {A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution},
author = {Aria Khademi and Vasant Honavar},
journal= {arXiv preprint arXiv:2008.00357},
year = {2020}
}