多维概念发现（MCD）：具有完备性保证的统一框架
机器学习
2023-06-21 v2 人工智能
机器学习
摘要
完备性公理使得事后 XAI 方法的解释仅对模型局部忠实，即针对单一决策。对于 XAI 的可信应用，尤其是高风险决策，需要更全局的模型理解。近来提出了基于概念的方法，但其并不保证与模型实际推理相绑定。为规避此问题，我们提出多维概念发现（MCD）作为先前方法的扩展，其在概念层面上满足完备性关系。我们的方法从作为概念的通用线性子空间出发，既不需要强化概念可解释性，也不需要重新训练模型部分。我们提出稀疏子空间聚类以发现改进的概念，并充分挖掘多维子空间的潜力。MCD 为输入空间中的概念提供了两种互补的分析工具：（1）概念激活图，展示概念在样本中的表达位置，从而可通过原型样本进行概念刻画；（2）概念相关性热图，将模型决策分解为概念贡献。两种工具共同实现对模型推理的细致理解，并通过完备性关系保证其与模型相关。这为更可信的基于概念的 XAI 铺平了道路。我们经实证展示了 MCD 相对于更具约束性概念定义的优越性。
引用
@article{arxiv.2301.11911,
title = {Multi-dimensional concept discovery (MCD): A unifying framework with completeness guarantees},
author = {Johanna Vielhaben and Stefan Blücher and Nils Strodthoff},
journal= {arXiv preprint arXiv:2301.11911},
year = {2023}
}
备注
v2: Version published by Transactions on Machine Learning Research in 2023 (TMLR ISSN 2835-8856) https://openreview.net/forum?id=KxBQPz7HKh. 25 pages, 11 figures. This work builds on an earlier manuscript (arXiv:2203.06043) and crucially extends it. Code is available at https://github.com/jvielhaben/MCD-XAI