事后可解释人工智能方法中的可预测性与可理解性：以用户为中心的分析
机器学习
2023-09-22 v1 人工智能
人机交互
摘要
事后可解释性方法旨在阐明黑盒机器学习模型的预测。然而，用户对这些所提供的解释的理解程度如何，以及这些解释是否提升了用户预测模型行为的能力，在很大程度上仍不清楚。我们通过开展一项用户研究来评估两种广泛使用的工具 LIME 和 SHAP 中的可理解性与可预测性，从而探讨这一问题。此外，我们研究了反事实解释与误分类对用户理解和预测模型行为能力的影响。我们发现，当为靠近模型决策边界的样本提供解释时，SHAP 的可理解性显著降低。进一步，我们发现反事实解释与误分类能够显著提升用户对于机器学习模型如何做出决策的理解。基于我们的发现，我们还推导出了面向未来具有更高可理解性与可预测性的事后可解释性方法的设计建议。
引用
@article{arxiv.2309.11987,
title = {Predictability and Comprehensibility in Post-Hoc XAI Methods: A User-Centered Analysis},
author = {Anahid Jalali and Bernhard Haslhofer and Simone Kriglstein and Andreas Rauber},
journal= {arXiv preprint arXiv:2309.11987},
year = {2023}
}
备注
17