XAI 方法在抑制变量存在时的理论行为
机器学习
2023-06-05 v1 人工智能
机器学习
摘要
近年来，“可解释人工智能”(XAI) 社群创建了海量方法以弥合模型“复杂性”与“可解释性”之间被感知的鸿沟。然而，XAI 方法待解决的具体问题尚未被形式化表述。因此，XAI 方法缺乏对其解释“正确性”的理论与经验证据，限制了其在质量控制与透明性方面的潜在应用。同时，Haufe 等人 (2014) 以简单玩具示例表明，即便线性模型的标准解释亦可能极具误导性。具体而言，高重要性可能被赋予所谓缺乏与预测目标任何统计关联的抑制变量。该行为已在 Wilming 等人 (2022) 中对大量 XAI 方法得到经验确认。此处，我们更进一步，通过对一个含高斯类条件分布的简单二维二分类问题推导多种流行 XAI 方法行为的解析表达式。我们表明，在所研究方法中，大多数会在相关噪声存在时将非零重要性赋予非类相关的抑制特征。这对这些 XAI 方法输出所能支撑的解释与结论提出了重要限制。
引用
@article{arxiv.2306.01464,
title = {Theoretical Behavior of XAI Methods in the Presence of Suppressor Variables},
author = {Rick Wilming and Leo Kieslich and Benedict Clark and Stefan Haufe},
journal= {arXiv preprint arXiv:2306.01464},
year = {2023}
}
备注
Accepted at ICML 2023