中文

用逻辑窥探图神经网络的内在逻辑

计算机科学中的逻辑 2022-08-08 v1 人工智能 编程语言

摘要

图神经网络与逻辑编程共享若干关键的关系推理机制。它们训练和评估所使用的数据集可被视为包含基项的数据库事实。这使得用等价的逻辑程序对其推理机制建模成为可能,从而不仅能更好地理解它们如何在机器学习过程中所涉实体间传播信息,还能推断从给定数据集可学到的内容的局限以及其推广到未见过测试数据的程度。这引出了本文的核心思想:借助逻辑程序对从图的链接结构及节点信息内容中学习推断新节点属性的信息流进行建模,给定新节点与可能具有相似属性的节点的已知连接。该问题被称为图节点属性预测,我们的方法将包括用Prolog程序模拟图神经网络训练和推理阶段的关键信息传播步骤。我们在ogbn-arxiv节点属性推断基准上测试了我们的方法。为了推断引文网络中代表论文的节点的类标签,我们将与每个节点相关联的文本的依赖树提炼为有向无环图,并将其编码为基Prolog项。连同它们对其他论文的引用集合,它们成为数据库中的事实,我们在其上借助模仿图神经网络预测节点属性的信息传播的Prolog程序进行推理。在此过程中,我们发明了基项相似关系,通过从训练集中相似节点传播节点属性来帮助推断测试集中的标签,并评估了它们相对于图链接结构有效性的效果。最后,我们实现了揭示数据集固有性能上界的解释生成器。作为一个实际成果,我们得到了一个逻辑程序,当被视为机器学习算法时,在节点属性预测基准上表现接近最先进水平(state of the art)。

关键词

引用

@article{arxiv.2208.03093,
  title  = {A Gaze into the Internal Logic of Graph Neural Networks, with Logic},
  author = {Paul Tarau},
  journal= {arXiv preprint arXiv:2208.03093},
  year   = {2022}
}

备注

In Proceedings ICLP 2022, arXiv:2208.02685