基于敏感性的神经网络解释
机器学习
2020-01-22 v1 机器学习
摘要
尽管神经网络能在图像识别或自然语言处理等多种不同任务上取得很高的预测性能，它们常被视为不透明的“黑箱”。解释神经网络预测的困难常常阻碍其在可解释性重要的领域中的使用，例如金融业，监管者与审计者常对此有严格要求。在本文中，我们提出一种基于模型输出相对于输入的敏感性来评估神经网络相对输入特征重要性的方法。该方法的优势在于计算快速，能提供全局与局部层面的解释，并适用于多种神经网络架构。我们在合成与真实数据上展示了该方法性能，并与其他解释技术进行比较。该方法已实现一个开源 Python 包，使用户能轻松生成并可视化其神经网络的解释。
引用
@article{arxiv.1812.01029,
title = {Sensitivity based Neural Networks Explanations},
author = {Enguerrand Horel and Virgile Mison and Tao Xiong and Kay Giesecke and Lidia Mangu},
journal= {arXiv preprint arXiv:1812.01029},
year = {2020}
}