面向告警处理的 SHAP 人工基准评估
机器学习
2019-07-09 v1 人机交互
机器学习
摘要
过去几年中，为实现机器学习预测的可解释性，提出了许多新的解释方法。然而，这些方法在实际应用中的效用尚未得到广泛研究。本文给出 SHAP 的人工基准评估结果，SHAP 是一种在 XAI 及相关领域广受认可的解释方法。具体而言，我们研究这一局部模型无关解释方法是否有助于真实人类领域专家评估正类预测（即分类器生成的告警）的正确性。我们对三组不同参与者（共 159 人）进行了实验，他们具备可解释机器学习的基础知识。我们对实验参与者在有和无 SHAP 信息情况下进行告警处理的记录反思进行了定性分析。结果表明，SHAP 解释确实影响了决策过程，尽管模型的置信度分数仍是主要的证据来源。我们统计检验了提供解释的任务与未提供解释的任务之间任务效用指标是否存在显著差异。与常见直觉相反，我们发现有 SHAP 解释与无 SHAP 解释时的告警处理性能无显著差异。
引用
@article{arxiv.1907.03324,
title = {A Human-Grounded Evaluation of SHAP for Alert Processing},
author = {Hilde J. P. Weerts and Werner van Ipenburg and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:1907.03324},
year = {2019}
}
备注
Will be published in proceedings of KDD workshop on Explainable AI 2019 (KDD-XAI)