将符号领域知识融入图神经网络
机器学习
2021-08-17 v2 人工智能
神经与进化计算
摘要
我们关注具有以下特征的科问题：（1）数据自然表示为图；（2）可用数据量通常较小；（3）存在显著的领域知识，通常以某种符号形式表达。这类问题过去已由归纳逻辑程序设计（ILP）有效解决，得益于两个重要特征：（a）使用易于捕捉图结构数据中关系的表示语言；（b）纳入以领域特定关系编码的先验信息，可缓解数据稀缺问题并构造新关系。近期进展出现了专为图结构数据开发的深度神经网络（基于图的神经网络，或 GNNs）。尽管 GNN 已被证明能处理图结构数据，但关于融入领域知识的研究较少。本文通过采用一种称为“顶点富集”（vertex-enrichment）的操作并相应记 GNN 为“VEGNNs”来实证考察 GNN 的这一方面。利用超过 70 个真实世界数据集和大量符号领域知识，我们检验了顶点富集在 5 种不同 GNN 变体上的结果。我们的结果支持以下结论：（a）通过顶点富集纳入领域知识可显著提升 GNN 性能，即 VEGNNs 在所有 GNN 变体上均显著优于 GNNs；（b）使用 ILP 构造的领域特定关系改善了所有 GNN 变体上 VEGNNs 的性能。综上，结果证明可将符号领域知识融入 GNN，且 ILP 可在提供 GNN 不易发现的高层关系方面发挥重要作用。
引用
@article{arxiv.2010.13900,
title = {Incorporating Symbolic Domain Knowledge into Graph Neural Networks},
author = {Tirtharaj Dash and Ashwin Srinivasan and Lovekesh Vig},
journal= {arXiv preprint arXiv:2010.13900},
year = {2021}
}
备注
Accepted in Machine Learning Journal (MLJ)