LEAFAGE：基于示例与特征重要性的黑盒机器学习模型解释方法
人工智能
2019-08-19 v3
摘要
随着机器学习模型变得愈发精确，它们通常也变得更加复杂且难以被人理解。这些模型的黑盒特性阻碍了其在实践中的接受度，尤其是在失败后果可能灾难性的高风险领域，如医疗或国防。提供对 ML 模型或预测的可理解且有用的解释能够增加用户的信任。基于示例的推理——即利用对类似任务的既往经验来做决策——是一种众所周知的问题解决与论证策略。本工作提出一种称为 LEAFAGE 的新解释提取方法，用于任何黑盒 ML 模型所做的预测。该解释由训练集中相似示例的可视化以及各特征的重要性组成。此外，这些解释是对比性的，旨在考虑用户的期望。LEAFAGE 在忠于底层黑盒模型的程度和对用户的有用性方面进行了评估。结果表明，在具有非线性决策边界的 ML 模型上，LEAFAGE 在保真度方面总体优于当前最先进的方法 LIME。我们进行了一项用户研究，重点揭示基于示例与基于特征重要性的解释之间的差异。研究表明，在感知透明度、信息充分性、胜任感和信心方面，基于示例的解释显著优于基于特征重要性的解释。与直觉相反的是，当测试参与者的知识获取情况时，显示他们在观看基于特征重要性的解释后比完全不看解释学到的关于黑盒模型的知识更少。参与者发现基于特征重要性的解释含糊且难以推广到其他实例。
引用
@article{arxiv.1812.09044,
title = {LEAFAGE: Example-based and Feature importance-based Explanationsfor Black-box ML models},
author = {Ajaya Adhikari and D. M. J Tax and Riccardo Satta and Matthias Fath},
journal= {arXiv preprint arXiv:1812.09044},
year = {2019}
}
备注
Submitted to the 2019 Fuzz-IEEE conference (special session on Advances on eXplainable Artificial Intelligence)