关于可解释性的 Shapley 信用分配

我们强调在解释学习模型决策时提出正确问题的重要性。我们讨论了 Janzing 等人 2020 年理论机制的天然推广，该机制回答了“为何我的模型预测某人患癌？”这一问题，用以回答更深层的问题“是什么导致我的模型预测某人患癌？”。前者量化变量对模型的直接影响，而后者还考虑了间接影响，从而在人类能够进行因果推理之处提供有意义的洞察。我们提出三类广泛的解释：观测式、模型特定式与因果式，每一类本身都具有重要意义。此外，本文通过将不同性质的解释与不同度量作为 Shapley 对称化的特征函数交织在一起，来量化特征相关性。除广泛使用的模型期望值外，我们还讨论了统计不确定性与离散程度度量作为信息丰富的候选者，及其在为各数据点生成解释时的优点，其中部分度量在此背景下为首次使用。这些度量不仅有助于研究变量对模型输出的影响，也有助于研究对模型预测性能的影响，为此我们提出了同样首次使用的相关特征函数。