通过变量重要性解释深度神经网络
机器学习
2020-04-29 v3 机器学习
摘要
尽管深度神经网络(DNNs)在各领域的成功已确凿无疑，我们解释与解读这些方法的能力仍然有限。与以往试图解释特定分类决策的局部方法不同，我们关注全局可解释性，并提出一个普遍适用的问题：给定训练好的模型，哪些特征最为重要？在神经网络中，单一特征极少独立重要，因此我们的策略专门设计用于利用偏协方差结构并将变量依赖性纳入特征排序。本文的方法贡献有两点。首先，我们提出一种适用于高度共线预测变量(在计算机视觉中无处不在)情形的 DNN 效应量类比。其次，我们将近期提出的“相对中心性”(RATE)度量(Crawford 等，2019)推广至贝叶斯深度学习设定。RATE 对效应量后验分布应用信息论准则以评估特征显著性。我们将该框架应用于三大广泛应用领域：计算机视觉、自然语言处理与社会科学。
引用
@article{arxiv.1901.09839,
title = {Interpreting Deep Neural Networks Through Variable Importance},
author = {Jonathan Ish-Horowicz and Dana Udwin and Seth Flaxman and Sarah Filippi and Lorin Crawford},
journal= {arXiv preprint arXiv:1901.09839},
year = {2020}
}