异质网络中用于链接预测的上下文嵌入自监督学习
机器学习
2021-04-28 v3 社会与信息网络
机器学习
摘要
异质网络的表示学习方法为每个节点生成低维向量嵌入，该嵌入在涉及该节点的所有任务中通常是固定的。现有许多方法侧重于以与下游应用无关的方式获取节点的静态向量表示。然而在实践中，诸如链接预测之类的下游任务需要可从作为任务输入的节点相关子图中提取的特定上下文信息。为应对此挑战，我们开发了SLiCE，一个将使用全图全局信息的静态表示学习方法与局部化注意力驱动机制相结合的框架，以学习上下文节点表示。我们首先通过引入高阶语义关联并掩码节点以自监督方式预训练模型，然后针对特定链接预测任务微调模型。我们不是通过聚合经元路径连接的所有语义邻居信息来训练节点表示，而是自动学习刻画特定任务上下文的不同元路径的组合，无需任何预定义元路径。SLiCE在多个公开基准网络数据集上显著优于静态与上下文嵌入学习方法。我们还解释了语义关联矩阵，并展示了其在异质节点间成功链接预测中的效用与相关性和相关性。
引用
@article{arxiv.2007.11192,
title = {Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks},
author = {Ping Wang and Khushbu Agarwal and Colby Ham and Sutanay Choudhury and Chandan K. Reddy},
journal= {arXiv preprint arXiv:2007.11192},
year = {2021}
}