解释是否反映决策？一种以机器为中心量化可解释性算法性能的策略
机器学习
2019-10-31 v2 神经与进化计算
摘要
最近，围绕可解释人工智能（XAI）概念的兴趣显著激增，其目标是为机器学习算法做出的决策生成解释。鉴于深度神经网络的复杂性和“黑箱”性质，如何解释其决策过程尤其受到关注。由于该领域尚处于起步阶段，对可解释性方法性能的评估探索非常有限，大多数评估都围绕对所生成解释的主观视觉解读。在本研究中，我们通过决策影响分析的概念，探索了一种更以机器为中心的策略，用于量化可解释性方法在深度神经网络上的性能。我们引入了两个定量性能指标：i）影响分数（Impact Score），评估具有强置信度降低影响或决策改变影响的关键因素百分比；ii）影响覆盖率（Impact Coverage），评估输入中受对抗性影响因素的百分比覆盖率。使用这种方法，我们在一个用于图像分类任务的 ImageNet 子集上，对 ResNet-50 深度卷积神经网络的几种最先进的可解释性方法（LIME、SHAP、Expected Gradients、GSInquire）进行了全面分析。实验结果表明，LIME 在测试图像中识别的关键区域对网络决策过程的影响最低（~38%），SHAP（~44%）、Expected Gradients（~51%）和 GSInquire（~76%）的决策影响逐步增加。尽管远非完美，但希望所提出的以机器为中心的策略有助于推动对话向前发展，朝着更好的评估可解释性方法的指标迈进，并提高对深度神经网络的信任。
引用
@article{arxiv.1910.07387,
title = {Do Explanations Reflect Decisions? A Machine-centric Strategy to Quantify the Performance of Explainability Algorithms},
author = {Zhong Qiu Lin and Mohammad Javad Shafiee and Stanislav Bochkarev and Michael St. Jules and Xiao Yu Wang and Alexander Wong},
journal= {arXiv preprint arXiv:1910.07387},
year = {2019}
}
备注
9 pages