结合概念分析与 ILP 的 DNN 可表达性解释
机器学习
2021-05-18 v1 计算机视觉与模式识别
摘要
可解释 AI 已成为对可靠性或透明度有高度需求的领域中黑盒机器学习方法的关键组成部分。例如医疗辅助系统，以及关注欧盟《通用数据保护条例》的应用，该条例以透明度为基石。此类需求要求能够审计分类器决策背后的依据。虽然可视化是解释的事实标准，但其在可表达性方面存在诸多不足：无法区分视觉特征的不同属性表现（如睁眼与闭眼），也不能准确描述特征缺失的影响及特征间关系。一种替代方案是更具表达力的符号代理模型。然而，这些模型需要符号输入，而在大多数计算机视觉任务中并不易获得。本文研究如何克服此问题：我们利用网络学习的固有特征，为前馈卷积深度神经网络（DNN）的推理依据构建全局、可表达、语言化的解释。特征的语义通过在一组人类可理解的视觉概念上训练的概念分析方法来挖掘。解释由归纳逻辑编程（ILP）方法发现，并以一阶规则呈现。我们表明我们的解释忠实于原始黑盒模型。实验代码见 https://github.com/mc-lovin-mlem/concept-embeddings-and-ilp/tree/ki2020。
引用
@article{arxiv.2105.07371,
title = {Expressive Explanations of DNNs by Combining Concept Analysis with ILP},
author = {Johannes Rabold and Gesina Schwalbe and Ute Schmid},
journal= {arXiv preprint arXiv:2105.07371},
year = {2021}
}
备注
14 pages, 4 figures; Camera-ready submission to KI2020; The final authenticated publication is available online at https://doi.org/10.1007/978-3-030-58285-2_11; code available at https://github.com/mc-lovin-mlem/concept-embeddings-and-ilp/tree/ki2020