XAI 方法的可靠性与稳定性如何？
机器学习
2024-07-04 v1 人工智能
摘要
黑箱模型正日益用于人们的日常生活中。随着这些模型的出现，产生解释性人工智能（XAI）方法以生成关于模型如何做出特定预测的额外解释的需求日益增长。就此而言，Dalex、Eli5、eXirt、Lofo 和 Shap 等方法涌现为不同的方法和范式，用于以一种与模型无关的方式生成黑箱模型的解释。随着这些方法的出现，提出了诸如“XAI 方法的可靠性与稳定性如何？”等问题。为此目的，本研究创建一个管道，使用糖尿病数据集和四个不同的机器学习模型（LGBM、MLP、DT 和 KNN），对测试数据进行不同程度的扰动，并最终生成 eXirt 方法关于模型置信度的解释，以及来自所有提到的 XAI 方法的特征相关性排名，以衡量其面对扰动的稳定性。结果发现，eXirt 能够在所有所用模型中识别出最可靠的模型。也发现，当前 XAI 方法对扰动敏感，仅一种特定方法除外。
引用
@article{arxiv.2407.03108,
title = {How Reliable and Stable are Explanations of XAI Methods?},
author = {José Ribeiro and Lucas Cardoso and Vitor Santos and Eduardo Carvalho and Níkolas Carneiro and Ronnie Alves},
journal= {arXiv preprint arXiv:2407.03108},
year = {2024}
}
备注
15 pages, 6 figures, submitted to BRACIS 2024