概念梯度：无线性假设的概念基解释
机器学习
2024-02-07 v2
摘要
黑盒模型的概念基解释通常更易于人类理解。最广泛采用的概念基解释方法是概念激活向量（CAV）。CAV依赖于学习给定模型的某种潜在表示与概念之间的线性关系。线性可分性通常被隐式假设，但一般而言并不成立。在本工作中，我们从概念基解释的最初意图出发，提出了概念梯度（CG），将概念基解释扩展到线性概念函数之外。我们证明，对于一个一般的（可能是非线性的）概念，我们可以从数学上评估概念的小幅改变如何影响模型的预测，从而将基于梯度的解释推广到概念空间。我们通过实验证明，CG在玩具示例和真实世界数据集上均优于CAV。
引用
@article{arxiv.2208.14966,
title = {Concept Gradient: Concept-based Interpretation Without Linear Assumption},
author = {Andrew Bai and Chih-Kuan Yeh and Pradeep Ravikumar and Neil Y. C. Lin and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2208.14966},
year = {2024}
}
备注
21 pages, 7 figures, published in ICLR 2023