具有自适应自对抗训练的关系统感知图注意力模型
机器学习
2021-02-16 v1 人工智能
摘要
本文描述了一种面向异质多关系图中关系预测任务的端到端解决方案。我们特别处理了流程中的两个构建模块，即异质图表示学习与负采样。现有基于消息传递的图神经网络使用边进行图遍历和/或消息编码函数的选择。忽略边语义会严重损害嵌入质量，尤其在处理具有多种关系的两个节点时。此外，所学表示的表达能力取决于训练中所用负样本的质量。尽管现有的难负采样技术能识别出具有挑战性的负关系用于优化，但仍需新技术以在训练中控制假阴性，因为假阴性会破坏学习过程。为解决这些问题，首先，我们提出 RelGNN——一种基于消息传递的异质图注意力模型。具体而言，RelGNN 生成不同关系的状态，并将其与节点状态一起用于消息加权。RelGNN 还采用自注意力机制来平衡属性特征与拓扑特征在生成最终实体嵌入时的重要性。其次，我们引入一种无参数负采样技术——自适应自对抗（ASA）负采样。ASA 通过利用正关系有效引导真负样本的识别，从而降低假阴性率。我们的实验评估表明，由 ASA 优化的 RelGNN 在关系预测上于公认基准及真实工业数据集上均超越了最先进性能。
引用
@article{arxiv.2102.07186,
title = {Relation-aware Graph Attention Model With Adaptive Self-adversarial Training},
author = {Xiao Qin and Nasrullah Sheikh and Berthold Reinwald and Lingfei Wu},
journal= {arXiv preprint arXiv:2102.07186},
year = {2021}
}