博弈论归因算法中路径选择影响的探究
机器学习
2021-03-02 v2 人工智能
机器学习
摘要
我们基于原子博弈(Shapley, 1953)和无穷小博弈(Aumann and Shapley, 1974)理论比较机器学习可解释性方法,从理论与实验上考察模型和积分路径的选择如何影响所得特征归因。为深入理解介入式 Shapley 值(Sundararajan and Najmi, 2019; Janzing et al., 2019; Chen et al., 2019)与广义积分梯度(GIG)(Merrill et al., 2019)归因的差异,我们注意到介入式 Shapley 等价于沿 条路径的多路径积分,其中 为模型输入特征数。应用斯托克斯定理,我们证明当模型由个体特征的可分函数之和与两特征乘积之和组成时,这两种方法的路径对称性导致相同归因。随后我们进行了一系列具有不同程度数据缺失的实验,以证明介入式 Shapley 的多路径方法比 Aumann-Shapley 的单直线路径产生更不一致的归因。我们认为这是因为介入式 Shapley 采用的多条路径远离训练数据流形,因而更可能穿过模型支持度很小的区域。在缺乏更有意义路径选择的情况下,我们主张采用直线路径,因其几乎总是更靠近数据流形。在直路径归因算法中,GIG 具有独特的鲁棒性,因为它仍能为决策树建模的原子博弈产生 Shapley 值。
引用
@article{arxiv.2007.04169,
title = {An exploration of the influence of path choice in game-theoretic attribution algorithms},
author = {Geoff Ward and Sean Kamkar and Jay Budzik},
journal= {arXiv preprint arXiv:2007.04169},
year = {2021}
}
备注
21 pages, 12 figures