基于显著性的可解释人工智能方法的众包评估

理解深度神经网络做出预测背后的原因，对于在许多重要应用中获得人类信任至关重要，这反映在近年来对人工智能可解释性（XAI）日益增长的需求中。基于显著性的特征归因方法通过高亮图像中对分类器决策有重要贡献的部分来作为XAI方法，尤其在计算机视觉领域常被使用。为了定量比较各种基于显著性的XAI方法，已有若干自动化评估方案被提出；然而，无法保证此类自动化评估指标能正确评估可解释性，且自动化评估方案给出的高评分未必意味着对人类而言的高可解释性。在本研究中，我们放弃自动化评估，提出一种利用众包来评估XAI方法的新基于人类的评估方案。我们的方法受人类计算游戏“Peek-a-boom”启发，可通过发挥众包力量高效比较不同XAI方法。我们在两个数据集上以自动化和基于众包的评估方案对各种XAI方法的显著图进行评估。实验表明，我们基于众包的评估结果不同于自动化评估方案的结果。此外，我们将基于众包的评估结果视为真值，并提供定量性能度量以比较不同自动化评估方案。我们还讨论了众包工作者对结果的影响，表明众包工作者能力的差异不会显著影响结果。