TimeSHAP：通过序列扰动解释循环模型
机器学习
2021-06-29 v2 人工智能
摘要
尽管循环神经网络（RNNs）在众多序列决策任务中处于最先进水平，但关于解释其预测的研究甚少。本工作中，我们提出 TimeSHAP，一种基于 KernelSHAP 并扩展至序列领域的模型无关循环解释器。TimeSHAP 计算特征级、时间步级和单元级归因。由于序列可能任意长，我们进一步提出一种剪枝方法，被证明能显著降低其计算成本并减小其归因的方差。我们使用 TimeSHAP 解释一个真实世界的银行账户接管欺诈检测 RNN 模型的预测，并从其解释中得出关键见解：i）模型识别出与欺诈分析师视为账户接管线索相符的重要特征和事件；ii）正预测序列可被剪枝至原始长度的仅 10%，因为较早事件具有残差归因值；iii）正预测的最近输入事件平均仅贡献模型分数的 41%；iv）对客户年龄的显著高归因，暗示潜在的歧视性推理，后被确认为老年客户更高的假阳性率。
引用
@article{arxiv.2012.00073,
title = {TimeSHAP: Explaining Recurrent Models through Sequence Perturbations},
author = {João Bento and Pedro Saleiro and André F. Cruz and Mário A. T. Figueiredo and Pedro Bizarro},
journal= {arXiv preprint arXiv:2012.00073},
year = {2021}
}
备注
Accepted at KDD 2021