通过关系蒸馏的无链接链接预测
机器学习
2023-06-06 v3
摘要
图神经网络（GNNs）在链接预测任务中展现出卓越性能。尽管有效，非平凡的邻域数据依赖带来的高延迟限制了 GNNs 在实际部署中的应用。相反，已知高效的多层感知机（MLPs）由于缺乏关系知识，其效果远不如 GNNs。本工作中，为结合 GNNs 与 MLPs 的优势，我们首先探索用于链接预测的直接知识蒸馏（KD）方法，即基于预测 logit 的匹配和基于节点表示的匹配。在观察到直接 KD 类比在链接预测上表现不佳后，我们提出一种关系 KD 框架，即无链接链接预测（LLP），以用 MLPs 为链接预测蒸馏知识。与匹配独立链接 logit 或节点表示的简单 KD 方法不同，LLP 将围绕每个（锚）节点的关系知识蒸馏给学生 MLP。具体而言，我们提出基于排序的匹配和基于分布的匹配策略，二者互为补充。大量实验表明，LLP 以显著幅度提升了 MLPs 的链接预测性能，甚至在 8 个基准中的 7 个上优于教师 GNNs。LLP 在大规模 OGB 数据集上还实现了相比 GNNs 70.68 倍的链接预测推理加速。
引用
@article{arxiv.2210.05801,
title = {Linkless Link Prediction via Relational Distillation},
author = {Zhichun Guo and William Shiao and Shichang Zhang and Yozen Liu and Nitesh V. Chawla and Neil Shah and Tong Zhao},
journal= {arXiv preprint arXiv:2210.05801},
year = {2023}
}