用可微边掩码解释用于NLP的图神经网络
计算与语言
2022-10-04 v3 机器学习
机器学习
摘要
图神经网络（GNNs）已成为将结构归纳偏置整合进NLP模型的一种流行方法。然而，关于解释它们的工作很少，特别是关于理解图的哪些部分（例如句法树或共指结构）对预测有贡献。在这项工作中，我们引入了一种事后解释GNN预测的方法，其识别不必要的边。给定一个训练好的GNN模型，我们学习一个简单分类器，对每一层中的每条边预测该边是否可被丢弃。我们证明这样的分类器可以以完全可微的方式训练，采用随机门并通过期望的范数鼓励稀疏性。我们将该技术作为归因方法用于分析两个任务的GNN模型——问答和语义角色标注——从而提供对这些模型中信息流的洞察。我们展示可以在不损害模型性能的情况下丢弃很大比例的边，同时我们可以分析剩余边以解释模型预测。
引用
@article{arxiv.2010.00577,
title = {Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking},
author = {Michael Sejr Schlichtkrull and Nicola De Cao and Ivan Titov},
journal= {arXiv preprint arXiv:2010.00577},
year = {2022}
}