面向句子与结构数据的知识图谱与超图变换器: 存储库注意与基于旅程的角色运输

我们提出一种简洁的架构，用于在保持知识与语言表示可分离的同时进行句子和结构数据的联合训练。该模型将知识图谱和超图作为具有角色槽位的结构实例进行建模，并将其编码为语言变换器可注意力的键值存储库。注意力由基于旅程的角色运输进行条件化，从而统一了边缘标记的 KG 遍历、超边遍历和句子结构。我们概述了双流体系结构：具有实例局部、邻域和全局混合注意力的分层层组、针对存储库的检索，以及覆盖掩码语言模型、链路预测和角色一致性去噪的多任务目标。结果是一种在语言语境与结构知识之间保持显式、可检查分离，同时通过跨注意力实现紧密对齐的架构。