特征加性解释器对特征加性预测器的解释效果如何？
机器学习
2023-10-31 v1 人工智能
摘要
高风险领域对深度学习的激增兴趣引发了对黑盒神经网络难以理解特性的担忧。可解释人工智能（XAI）研究已为这些黑盒产生了大量解释算法。此类事后解释器产生人类可理解的解释，然而，它们相对于模型的保真度尚不清楚——解释评估仍是XAI中最具挑战性的问题之一。在本文中，我们提出一个有针对性但重要的问题：流行的特征加性解释器（例如LIME、SHAP、SHAPR、MAPLE和PDP）能否解释特征加性预测器？在此，我们基于从模型的加性结构解析导出的真值来评估此类解释器。我们展示了我们的方法在将解释器应用于符号表达式、神经网络和广义加性模型的数千个合成任务和若干真实世界任务时的有效性。我们的结果表明，所有解释器最终都未能正确归因特征的重要性，特别是当决策过程涉及特征交互时。
引用
@article{arxiv.2310.18496,
title = {How Well Do Feature-Additive Explainers Explain Feature-Additive Predictors?},
author = {Zachariah Carmichael and Walter J. Scheirer},
journal= {arXiv preprint arXiv:2310.18496},
year = {2023}
}
备注
Accepted to NeurIPS Workshop XAI in Action: Past, Present, and Future Applications. arXiv admin note: text overlap with arXiv:2106.08376