Edgeformers：基于图增强 Transformer 的文本边网络表示学习

许多真实世界社交/信息网络中的边都关联丰富的文本信息（例如用户间通信或用户-产品评论）。然而，主流网络表示学习模型侧重于传播与聚合节点属性，缺乏利用边上文本语义的专门设计。尽管存在边感知图神经网络，它们直接将边属性初始化为特征向量，无法充分捕获边的上下文文本语义。本文中，我们提出 Edgeformers，一种构建于图增强 Transformer 之上的框架，通过以上下文方式对边上文本建模来执行边与节点表示学习。具体而言，在边表示学习中，我们在编码边文本时将网络信息注入每个 Transformer 层；在节点表示学习中，我们通过每个节点自我图内的注意力机制聚合边表示。在来自三个不同领域的五个公开数据集上，Edgeformers 在边分类与链接预测中持续优于最先进基线，分别展示了学习边与节点表示的有效性。