黑盒模型的局部解释全局聚合
信息检索
2019-07-09 v1 人工智能
机器学习
摘要
许多最先进机器学习模型的决策过程本质上难以理解，以至于人类无法直接解释该模型：它们是黑盒模型。这引发了对黑盒模型解释研究的呼吁，其中主要有两种方法。全局解释旨在总体上解释模型的决策过程，局部解释旨在解释单个预测。由于在全局可解释近似中确立对黑盒模型的保真度仍然具有挑战性，大量注意力被放在局部解释上。然而，局部解释是否能够可靠地表示黑盒模型并提供有用的洞察仍是一个开放问题。我们提出局部解释的全局聚合（GALE），旨在提供对模型全局决策过程的洞察。总体而言，我们的结果揭示了聚合方式的选择至关重要。我们发现局部可解释模型无关解释（LIME）引入的全局重要性并不能可靠地表示模型的全局行为。我们提出的聚合能够更好地表示特征如何影响模型的预测，并通过识别区分性特征提供全局洞察。
引用
@article{arxiv.1907.03039,
title = {Global Aggregations of Local Explanations for Black Box models},
author = {Ilse van der Linden and Hinda Haned and Evangelos Kanoulas},
journal= {arXiv preprint arXiv:1907.03039},
year = {2019}
}
备注
FACTS-IR: Fairness, Accountability, Confidentiality, Transparency, and Safety - SIGIR 2019 Workshop