RISE：用于黑盒模型解释的随机输入采样方法
计算机视觉与模式识别
2018-09-27 v3
摘要
深度神经网络正日益被用于自动化数据分析与决策，但其决策过程在很大程度上不透明，难以向终端用户解释。本文针对以图像为输入并输出类别概率的深度神经网络，研究可解释 AI（Explainable AI）问题。我们提出一种称为 RISE 的方法，生成重要性图以指示每个像素对模型预测的贡献显著程度。与利用梯度或网络内部状态估计像素重要性的白盒方法不同，RISE 作用于黑盒模型。它通过用随机掩码版本的图像探测模型并获取相应输出，以经验方式估计重要性。我们使用自动删除/插入指标以及基于人工标注物体分割的指向指标，将我们的方法与最先进的重要性提取方法进行比较。在多个基准数据集上的大量实验表明，我们的方法匹配或超越了其他方法（包括白盒方法）的性能。项目主页：http://cs-people.bu.edu/vpetsiuk/rise/
引用
@article{arxiv.1806.07421,
title = {RISE: Randomized Input Sampling for Explanation of Black-box Models},
author = {Vitali Petsiuk and Abir Das and Kate Saenko},
journal= {arXiv preprint arXiv:1806.07421},
year = {2018}
}