GInX-Eval：面向图神经网络解释的分布内评估
人工智能
2023-11-07 v2 机器学习
摘要
近年来，人们开发了多种图神经网络（GNN）的可解释性方法，以突出图中对模型预测贡献最大的边和节点。然而，目前尚不清楚如何从人类或模型的角度评估这些解释的正确性。当前评估流程中一个未被解决的瓶颈是分布外解释问题，即解释的分布与训练数据的分布不同。这一重要问题影响了现有的评估指标，例如流行的忠实度（faithfulness）或保真度（fidelity）分数。在本文中，我们展示了忠实度指标的局限性。我们提出 GInX-Eval（图分布内解释评估，Graph In-distribution eXplanation Evaluation），一种图解释评估流程，它克服了忠实度指标的缺陷，并为可解释性方法提供了新的见解。通过微调策略，GInX 分数衡量被移除的边对模型的信息量，EdgeRank 分数评估解释性边是否按其重要性被正确排序。GInX-Eval 验证真实解释是否对 GNN 模型具有指导性。此外，它表明许多流行方法（包括基于梯度的方法）所产生的解释并不优于随机指定边为重要子图的做法，这对该领域当前工作的发现提出了挑战。GInX-Eval 的结果在多个数据集上一致，并与人类评估相符。
引用
@article{arxiv.2309.16223,
title = {GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network Explanations},
author = {Kenza Amara and Mennatallah El-Assady and Rex Ying},
journal= {arXiv preprint arXiv:2309.16223},
year = {2023}
}
备注
Preprint, Submitted to ICLR2024