“你为何这样做？”：用归纳综合解释黑盒模型
人工智能
2019-04-22 v1 机器学习
摘要
黑盒模型的构成本质上是不透明的。这使得针对刺激响应生成解释变得具有挑战性。鉴于 AI 与 ML 系统的普及以及围绕它们构建法律与监管框架的需求，解释黑盒模型的重要性日益凸显。此类解释也能增加对这些不确定系统的信任。在本文中，我们提出 RICE，一种通过以下方式生成黑盒模型行为解释的方法：(1) 利用敏感性分析探测模型以提取模型输出样例；(2) 应用 CNPInduce（一种归纳逻辑程序综合方法）基于关键输入输出对生成逻辑程序；(3) 将目标程序解释为可读的人类解释。我们通过在假设自动驾驶汽车仿真中训练用于遵循简单交通规则的人工神经网络生成解释，展示了该方法的应用。最后我们讨论了该方法的可扩展性与可用性及其在解释关键场景中的潜在应用。
引用
@article{arxiv.1904.09273,
title = {"Why did you do that?": Explaining black box models with Inductive Synthesis},
author = {Görkem Paçacı and David Johnson and Steve McKeever and Andreas Hamfelt},
journal= {arXiv preprint arXiv:1904.09273},
year = {2019}
}
备注
12 pages, 1 figure, accepted for publication at the Solving Problems with Uncertainties workshop as part of ICCS 2019, Faro, Portugal, June 12-14