因果概念图模型：超越深度学习中的因果不透明性
机器学习
2025-04-02 v6 人工智能
摘要
因果不透明性指的是难以理解深度神经网络模型决策背后“隐藏”的因果结构。这导致在高风险场景中，我们无法依赖和验证最先进的基于深度神经网络的系统。因此，规避深度神经网络中的因果不透明性是深度学习、可解释性和因果性交叉领域的一个关键开放挑战。本文通过引入因果概念图模型来填补这一空白，这是一类其决策过程在设计上具有因果透明性的可解释模型。我们的实验表明，因果概念图模型能够：(i) 达到与因果不透明模型相当的泛化性能，(ii) 支持对错误预测的中间推理步骤进行人在回路修正，这不仅提升了修正后的下游准确性，也提高了针对特定实例所提供解释的可靠性，以及 (iii) 支持干预和反事实场景的分析，从而提升模型的因果可解释性，并支持对其可靠性和公平性的有效验证。
引用
@article{arxiv.2405.16507,
title = {Causal Concept Graph Models: Beyond Causal Opacity in Deep Learning},
author = {Gabriele Dominici and Pietro Barbiero and Mateo Espinosa Zarlenga and Alberto Termine and Martin Gjoreski and Giuseppe Marra and Marc Langheinrich},
journal= {arXiv preprint arXiv:2405.16507},
year = {2025}
}