XAI 保真度指标的综合研究

可解释人工智能系统的使用引入了一系列亟待解决的挑战。在此，我们关注如何正确选择 XAI 方法，这是该领域内的一个开放问题。该任务固有的困难在于缺乏真实基准。多位作者提出了用于近似不同 XAI 方法保真度的指标。这些指标缺乏验证且存在令人担忧的不一致性。在本研究中，我们提出了一种验证保真度指标的新方法，使用一种众所周知的透明模型，即决策树。该模型使我们能够获得具有完美保真度的解释。我们的提议构成了这些指标的第一个客观基准，促进了现有提议之间的比较，并超越了现有方法。我们在两个不同的实验中应用我们的基准来评估现有的保真度指标，每个实验均使用包含 52,000 张图像的公开数据集。这些数据集中的图像尺寸为 128×128 像素，并且是简化了训练过程的合成数据。所有指标值均表明存在保真度不足的问题，其中表现最好的指标在完美解释的期望值上也存在 30 \% 的偏差。我们的实验使我们得出结论，当前的保真度指标不够可靠，无法用于真实场景。基于这一发现，我们认为有必要开发新指标以避免已检测到的问题，并建议科学界使用我们的提议作为基准来解决这些局限性。