基于标签信息的对比学习预训练用于知识图谱的节点重要性估计

节点重要性估计（Node Importance Estimation, NIE）是推断图中节点重要性得分的任务。由于可用的数据和知识更丰富，近期研究对 NIE 的兴趣正在专注于知识图谱，以预测未来或缺失的节点重要性得分。现有的领先 NIE 方法通过可用标签训练模型，训练前认为所有感兴趣的节点都 equally重要。然而，实际场景中，重要性更高的节点往往需要或获得更多关注，例如人们可能更关心重要性更高的电影或网页。为此，我们引入基于标签信息的对比学习预训练（Label Informed ContrAstive Pretraining, LICAP）以更好地识别重要性较高的节点。具体而言，LICAP 是一种新的对比学习框架，旨在充分利用连续标签生成对比样本进行预训练嵌入。考虑到 NIE 问题，LICAP 采用一种新颖的采样策略称为“顶部节点优先分层采样”，首先根据节点重要性得分将所有感兴趣的节点分为顶部库和非顶部库，然后将顶部库中的节点根据得分划分为多个更细的子库。对比样本来自这些库，然后用于通过新提出的谓词感知图注意力网络（Predicate-aware Graph Attention Networks, PreGAT）预训练知识图谱的节点嵌入，以更好地区分顶部节点与非顶部节点，并通过保持更细子库之间相对顺序来区分顶部节点内部的顶部节点。大量实验表明，LICAP 预训练的嵌入能够进一步提升现有 NIE 方法的性能，在回归和排序指标上均实现了新的领先水平。为可重复性，源代码可在 https://github.com/zhangtia16/LICAP 获取。