“你为何应信任我的解释？”理解LIME解释中的不确定性
机器学习
2019-06-05 v2 人工智能
机器学习
摘要
解释机器学习黑盒模型的方法提升了结果的透明度，并进而增进对算法可靠性与公平性的洞察。然而，解释本身可能包含显著的不确定性，这会削弱对结果的信任并引发对模型可靠性的担忧。聚焦于“局部可解释模型无关解释”（LIME）方法，我们展示了两类不确定性来源，即其采样过程中的随机性，以及不同输入数据点上解释质量的变化。即便在具有较高训练与测试精度的模型中，此类不确定性依然存在。我们将LIME应用于合成数据及两个公开数据集——20 Newsgroup中的文本分类与COMPAS中的累犯风险评分——以支持我们的论点。
引用
@article{arxiv.1904.12991,
title = {"Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations},
author = {Yujia Zhang and Kuangyan Song and Yiming Sun and Sarah Tan and Madeleine Udell},
journal= {arXiv preprint arXiv:1904.12991},
year = {2019}
}