蒸馏并解释：使用简单代理模型解释图神经网络
机器学习
2024-03-11 v2 人工智能
摘要
解释图神经网络（GNNs）中的节点预测通常归结为寻找能够保持预测的图子结构。寻找这些结构通常意味着要通过 GNN 进行反向传播，从而将 GNN 的复杂度（例如层数）与其解释成本绑定。这自然引出一个问题：我们能否通过解释一个更简单的代理 GNN 来打破这种绑定？为回答该问题，我们提出 Distill n' Explain（DnX）。首先，DnX 通过知识蒸馏学习一个代理 GNN。然后，DnX 通过求解一个简单的凸规划提取节点或边级别的解释。我们还提出了 FastDnX，即 DnX 的更快版本，它利用了我们代理模型的线性分解。实验表明，DnX 和 FastDnX 通常优于最先进的 GNN 解释器，同时速度快几个数量级。此外，我们通过将代理模型质量（即蒸馏误差）与解释忠实度联系起来的理论结果支持了我们的实证发现。
引用
@article{arxiv.2303.10139,
title = {Distill n' Explain: explaining graph neural networks using simple surrogates},
author = {Tamara Pereira and Erik Nascimento and Lucas E. Resck and Diego Mesquita and Amauri Souza},
journal= {arXiv preprint arXiv:2303.10139},
year = {2024}
}
备注
To appear in AISTATS 2023