聚焦！评估XAI方法并发现偏差
机器学习
2022-03-01 v3 人工智能
摘要
AI可解释性提升了模型的透明度，使其更值得信赖。此类目标源于深度学习模型本质上的不透明性；即使在深度学习取得最大成功的图像领域，可解释性仍很少被客观评估。在图像识别领域，已提出许多特征归因方法，旨在通过视觉线索解释模型行为。然而，迄今为止尚未建立用于客观评估和选择这些方法的指标。本文提出一种用于特征归因方法的一致性评估分数——Focus——旨在量化其与任务的一致性。此前多数工作向样本中添加分布外噪声，而我们引入一种从分布内添加噪声的方法论。这是通过来自不同类别的实例拼贴以及它们所生成的解释来实现的。在此基础上，我们计算一种视觉伪精度指标，即Focus。首先，我们通过一组随机化实验展示了该方法的鲁棒性。随后我们使用Focus在多个CNN架构和分类数据集上比较六种流行的可解释性技术。我们的结果发现某些方法始终可靠（LRP、GradCAM），而另一些产生与类别无关的解释（SmoothGrad、IG）。最后，我们介绍了Focus的另一应用，利用其识别和表征模型中发现偏差。这增强了偏差管理工具，朝着可信AI又迈出了小小一步。
引用
@article{arxiv.2109.15035,
title = {Focus! Rating XAI Methods and Finding Biases},
author = {Anna Arias-Duart and Ferran Parés and Dario Garcia-Gasulla and Victor Gimenez-Abalos},
journal= {arXiv preprint arXiv:2109.15035},
year = {2022}
}